Латинский-1 до ascii

Ответ 1

Итак, вот три подхода, более или менее заданные или предлагаемые в других ответах:

# -*- coding: utf-8 -*-
import codecs
import unicodedata

x = u"Wikipédia, le projet d’encyclopédie"

xtd = {ord(u'’'): u"'", ord(u'é'): u'e', }

def asciify(error):
    return xtd[ord(error.object[error.start])], error.end

codecs.register_error('asciify', asciify)

def ae():
  return x.encode('ascii', 'asciify')

def ud():
  return unicodedata.normalize('NFKD', x).encode('ASCII', 'ignore')

def tr():
  return x.translate(xtd)

if __name__ == '__main__':
  print 'or:', x
  print 'ae:', ae()
  print 'ud:', ud()
  print 'tr:', tr()

Запуск как основной, это испускает:

or: Wikipédia, le projet d’encyclopédie
ae: Wikipedia, le projet d'encyclopedie
ud: Wikipedia, le projet dencyclopedie
tr: Wikipedia, le projet d'encyclopedie

ясно показывает, что подход на основе уникодатной информации, в то время как у него есть удобство, не нуждающееся в карте перевода xtd, не может автоматически переводить все символы автоматически (это работает для букв с акцентом, но не для обратного -apostrophe), поэтому ему также понадобится некоторый вспомогательный шаг для непосредственного решения этих проблем (без сомнения, перед тем, что теперь его тело).

Производительность также интересна. На моем ноутбуке с Mac OS X 10.5 и системой Python 2.5 вполне можно повторить:

$ python -mtimeit -s'import a' 'a.ae()'
100000 loops, best of 3: 7.5 usec per loop
$ python -mtimeit -s'import a' 'a.ud()'
100000 loops, best of 3: 3.66 usec per loop
$ python -mtimeit -s'import a' 'a.tr()'
10000 loops, best of 3: 21.4 usec per loop

translate является неожиданно медленным (относительно других подходов). Я считаю, что проблема заключается в том, что dict учитывается для каждого символа в случае translate (и большинство из них не существует), но только для тех немногих символов, которые имеют ARE с подходом asciify.

Итак, для полноты здесь "усиленный unicodedata" подход:

specstd = {ord(u'’'): u"'", }
def specials(error):
  return specstd.get(ord(error.object[error.start]), u''), error.end
codecs.register_error('specials', specials)

def bu():
  return unicodedata.normalize('NFKD', x).encode('ASCII', 'specials')

это дает правильный выход, НО:

$ python -mtimeit -s'import a' 'a.bu()'
100000 loops, best of 3: 10.7 usec per loop

... скорость уже не так хороша. Итак, если скорость имеет значение, то, без сомнения, стоит задача сделать полный перевод xtd dict и использовать подход asciify. Когда несколько лишних микросекунд на перевод не имеют большого значения, можно подумать о подходе bu просто для его удобства (нужен только перевод, для которого, надеюсь, мало, специальные символы, которые не переводят правильно с основополагающей идеей unicodedata).

Ответ 2

"Правильный" способ сделать это - зарегистрировать свой собственный обработчик ошибок для кодирования/декодирования Unicode, а в этом обработчике ошибок предусмотрены замены от è до e и ö до o и т.д.

Так же:

# -*- coding: UTF-8 -*-
import codecs

map = {u'é': u'e',
       u'’': u"'",
       # ETC
       }

def asciify(error):
    return map[error.object[error.start]], error.end

codecs.register_error('asciify', asciify)

test = u'Wikipédia, le projet d’encyclopédie'
print test.encode('ascii', 'asciify')

Вы также можете найти что-то в библиотеке IBM ICU и это привязки Python PyICU, тем не менее, это может быть меньше.

Ответ 3

Удивительный unidecode модуль делает это для вас:

>>> import unidecode
>>> n = unicode('Wikipédia, le projet d’encyclopédie','utf-8')
>>> unidecode.unidecode(n)
"Wikipedia, le projet d'encyclopedie"

Ответ 4

Maketrans (и переведите), затем преобразуйте в ascii:

intab = u'áéí'  # extend as needed
outtab = u'aei' # as well as this one
table = maketrans(intab, outtab)

text = translate(u"Wikipédia, le projet d’encyclopédie", table)

try:
    temp = unicode(text, "utf-8")
    fixed = unicodedata.normalize('NFKD', temp).encode('ASCII', action)
    return fixed
except Exception, errorInfo:
    print errorInfo
    print "Unable to convert the Unicode characters to xml character entities"
    raise errorInfo

(из здесь)

Ответ 5

Без измерения я ожидал бы, что метод .translate строк Unicode является самым быстрым решением. Однако вы должны сделать свои собственные измерения.

Ответ 6

Пакет unihandecode -

Транслитерация US-ASCII текста Юникода.
улучшенная версия Unidecode Python, то есть порт Python модуля Text:: Unidecode Perl от Шона М. Берка.

pip install Unihandecode

то в python

import unihandecode
print(unihandecode.unidecode(u'Wikipédia, le projet d’encyclopédie'))

выводит Wikipedia, le projet d'encyclopedie.