Python не сортирует unicode правильно. Strcoll не помогает

У меня проблема с сортировкой списков, использующих сортировку юникодов в Python 2.5.1 и 2.6.5 на OSX, а также на Linux.

import locale   
locale.setlocale(locale.LC_ALL, 'pl_PL.UTF-8')
print [i for i in sorted([u'a', u'z', u'ą'], cmp=locale.strcoll)]

Для печати:

[u'a', u'ą', u'z']

Но вместо этого распечатывается:

[u'a', u'z', u'ą']

Подводя итог - похоже, что strcoll был сломан. Пробовал его с различными типами переменных (строки, закодированные без кодировки unicode).

Что я делаю неправильно?

С уважением, Томаш Копчук.

Ответ 1

По-видимому, единственный способ сортировки для работы на всех платформах - использовать библиотеку ICU с привязками PyICU (PyICU на PyPI).

В OS X: sudo port install py26-pyicu, описанная здесь ошибка: https://svn.macports.org/ticket/23429 (о радость использования macports).

Документация на PyICU, к сожалению, не хватает, но мне удалось выяснить, как это сделать:

import PyICU
collator = PyICU.Collator.createInstance(PyICU.Locale('pl_PL.UTF-8'))
print [i for i in sorted([u'a', u'z', u'ą'], cmp=collator.compare)]

который дает:

[u'a', u'ą', u'z']

Другой pro - @bobince: он поточно-безопасный, поэтому не бесполезен при настройке локальных запросов.

Ответ 2

Просто добавьте к расследованию tkopczuk: Это определенно ошибка gcc, по крайней мере, для версии 4.2.1 на OS X 10.6.4. Его можно воспроизвести, вызвав C strcoll() непосредственно как в этом фрагменте.

EDIT: все еще в той же системе, я нахожу, что для UEF-8 версий de_DE, fr_FR, pl_PL, проблема существует, но для версий fr_FR и de_DE ISO-88591 порядок сортировки верен. К сожалению для OP, ISO-88592 pl_PL также глючит:

The order for Polish ISO-8859 is:
LATIN SMALL LETTER A
LATIN SMALL LETTER Z
LATIN SMALL LETTER A WITH OGONEK
The LC_COLLATE culture and encoding settings were pl_PL, ISO8859-2.

The order for Polish Unicode is:
LATIN SMALL LETTER A
LATIN SMALL LETTER Z
LATIN SMALL LETTER A WITH OGONEK
The LC_COLLATE culture and encoding settings were pl_PL, UTF8.

The order for German Unicode is:
LATIN SMALL LETTER A
LATIN SMALL LETTER Z
LATIN SMALL LETTER A WITH DIAERESIS
The LC_COLLATE culture and encoding settings were de_DE, UTF8.

The order for German ISO-8859 is:
LATIN SMALL LETTER A
LATIN SMALL LETTER A WITH DIAERESIS
LATIN SMALL LETTER Z
The LC_COLLATE culture and encoding settings were de_DE, ISO8859-1.

The order for Fremch ISO-8859 is:
LATIN SMALL LETTER A
LATIN SMALL LETTER E WITH ACUTE
LATIN SMALL LETTER Z
The LC_COLLATE culture and encoding settings were fr_FR, ISO8859-1.

The order for French Unicode is:
LATIN SMALL LETTER A
LATIN SMALL LETTER Z
LATIN SMALL LETTER E WITH ACUTE
The LC_COLLATE culture and encoding settings were fr_FR, UTF8.

Ответ 3

@gnibbler, используя PyICU с функцией sorted(), работает в среде Python3. После небольшого копирования документации ICU API и некоторых экспериментов я столкнулся с функцией getSortKey():

import PyICU
collator = PyICU.Collator.createInstance(PyICU.Locale('de_DE.UTF-8'))
sorted(['a','b','c','ä'],key=collator.getSortKey)

который производит желаемую сортировку:

['a', 'ä', 'b', 'c']

вместо нежелательной сортировки:

sorted(['a','b','c','ä'])
['a', 'b', 'c', 'ä']

Ответ 4

Вот как мне удалось правильно сортировать персидский язык (без PyICU) (используя python 3.x):

Сначала установите языковой стандарт (не забудьте импортировать языковой стандарт и платформу).

if platform.system() == 'Linux':
    locale.setlocale(locale.LC_ALL, 'fa_IR.UTF-8')
elif platform.system() == 'Windows':
   locale.setlocale(locale.LC_ALL, 'Persian_Iran.1256')
else:
   pass (or any other OS)

Затем отсортируйте с помощью клавиши:

a = ['ا','ب','پ','ت','ث','ج','چ','ح','خ','د','ذ','ر','ز','ژ','س','ش','ص','ض','ط','ظ','ع','غ','ف','ق','ک','گ','ل','م','ن','و','ه','ي']

print(sorted(a,key=locale.strxfrm))

Для списка объектов:

a = [{'id':"ا"},{'id':"ب"},{'id':"پ"},{'id':"ت"},{'id':"ث"},{'id':"ج"},{'id':"چ"},{'id':"ح"},{'id':"خ"},{'id':"د"},{'id':"ذ"},{'id':"ر"},{'id':"ز"},{'id':"ژ"},{'id':"س"},{'id':"ش"},{'id':"ص"},{'id':"ض"},{'id':"ط"},{'id':"ظ"},{'id':"ع"},{'id':"غ"},{'id':"ف"},{'id':"ق"},{'id':"ک"},{'id':"گ"},{'id':"ل"},{'id':"م"},{'id':"ن"},{'id':"و"},{'id':"ه"},{'id':"ي"}]

print(sorted(a, key=lambda x: locale.strxfrm(x['id']))

Наконец, вы можете вернуть языковой стандарт:

locale.setlocale(locale.LC_ALL, '')

Ответ 5

import locale
from functools import cmp_to_key
iterable = [u'a', u'z', u'ą']
sorted(iterable, key=cmp_to_key(locale.strcoll))  # locale-aware sort order

(Ref.: http://docs.python.org/3.3/library/functools.html)

Ответ 6

В Ubuntu lucid сортировка с cmp, похоже, работает нормально, но моя выходная кодировка неверна.

>>> import locale   
>>> locale.setlocale(locale.LC_ALL, 'pl_PL.UTF-8')
'pl_PL.UTF-8'
>>> print [i for i in sorted([u'a', u'z', u'ą'], cmp=locale.strcoll)]
[u'a', u'\u0105', u'z']

Использование ключа с locale.strxfrm не работает, если я что-то не хватает

>>> print [i for i in sorted([u'a', u'z', u'ą'], key=locale.strxfrm)]
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\u0105' in position 0: ordinal not in range(128)