"UnicodeEncodeError: кодек ascii не может кодировать символ"

Я пытаюсь передать большие строки случайного html через регулярные выражения, и мой Python 2.6 script задыхается от этого:

UnicodeEncodeError: кодек 'ascii' не может кодировать символ

Я проследил его до надстрочного знака товарного знака в конце этого слова: Protection ™ - и я ожидаю, что в будущем у вас появятся другие подобные.

Есть ли модуль для обработки символов, отличных от ascii? или, что является лучшим способом обработки/выхода из файла non-ascii в python?

Спасибо! Полная ошибка:

E
======================================================================
ERROR: test_untitled (__main__.Untitled)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "C:\Python26\Test2.py", line 26, in test_untitled
    ofile.write(Whois + '\n')
UnicodeEncodeError: 'ascii' codec can't encode character u'\u2122' in position 1005: ordinal not in range(128)

Полный Script:

from selenium import selenium
import unittest, time, re, csv, logging

class Untitled(unittest.TestCase):
    def setUp(self):
        self.verificationErrors = []
        self.selenium = selenium("localhost", 4444, "*firefox", "http://www.BaseDomain.com/")
        self.selenium.start()
        self.selenium.set_timeout("90000")

    def test_untitled(self):
        sel = self.selenium
        spamReader = csv.reader(open('SubDomainList.csv', 'rb'))
        for row in spamReader:
            sel.open(row[0])
            time.sleep(10)
            Test = sel.get_text("//html/body/div/table/tbody/tr/td/form/div/table/tbody/tr[7]/td")
            Test = Test.replace(",","")
            Test = Test.replace("\n", "")
            ofile = open('TestOut.csv', 'ab')
            ofile.write(Test + '\n')
            ofile.close()

    def tearDown(self):
        self.selenium.stop()
        self.assertEqual([], self.verificationErrors)

if __name__ == "__main__":
    unittest.main()

Ответ 1

Вы пытаетесь передать bytestring на что-то, но это невозможно (из-за нехватки информации, которую вы предоставляете), чтобы сообщить , что, к которому вы пытаетесь передать его. Вы начинаете с строки Unicode, которая не может быть закодирована как ASCII (кодек по умолчанию), поэтому вам придется кодировать какой-либо другой кодек (или транслитерировать его, как предлагает @R.Pate), - но это невозможно для использования скажем, какой кодек вы должны использовать, потому что мы не знаем, что вы передаете bytestring и, следовательно, не знаете, что эта неизвестная подсистема сможет принимать и обрабатывать правильно с точки зрения кодеков.

В такой полной темноте, когда вы оставляете нас, utf-8 является разумным слепым предположением (поскольку это кодек, который может представлять любую строку Юникода точно как bytestring, а это стандартный кодек для многих целей, например XML) - но это не может быть больше, чем слепое догадка, пока и если вы не расскажете нам больше о , что, которое вы пытаетесь передать, что указывается, и для каких целей.

Передача thestring.encode('utf-8'), а не голая thestring, безусловно, позволит избежать конкретной ошибки, которую вы видите прямо сейчас, но это может привести к особым экранам (или что бы это ни было ), которые вы пытаетесь сделайте с этим путем!), если только получатель не готов, не желает и не может принять кодировку utf-8 (и как мы могли бы знать, имея абсолютно нулевое представление о том, что может быть получателем?!)

Ответ 2

Вы пытаетесь преобразовать unicode в ascii в "строгом" режиме:

>>> help(str.encode)
Help on method_descriptor:

encode(...)
    S.encode([encoding[,errors]]) -> object

    Encodes S using the codec registered for encoding. encoding defaults
    to the default encoding. errors may be given to set a different error
    handling scheme. Default is 'strict' meaning that encoding errors raise
    a UnicodeEncodeError. Other possible values are 'ignore', 'replace' and
    'xmlcharrefreplace' as well as any other name registered with
    codecs.register_error that is able to handle UnicodeEncodeErrors.

Вероятно, вы хотите что-то вроде одного из следующих:

s = u'Protection™'

print s.encode('ascii', 'ignore')    # removes the ™
print s.encode('ascii', 'replace')   # replaces with ?
print s.encode('ascii','xmlcharrefreplace') # turn into xml entities
print s.encode('ascii', 'strict')    # throw UnicodeEncodeErrors

Ответ 3

"Лучший" способ всегда зависит от ваших требований; так, что твой? Является ли игнорирование не-ASCII подходящим? Если вы заменяете ™ на "(tm)"? (Что выглядит для этого примера, но быстро ломается для других кодовых точек - но это может быть именно то, что вы хотите.) Может ли исключение быть именно тем, что вам нужно; теперь вам просто нужно обработать его каким-то образом?

Только вы действительно можете ответить на этот вопрос.

Ответ 4

Прежде всего, попробуйте установить перевод для английского языка (или любого другого при необходимости):

sudo apt-get install language-pack-en

который предоставляет обновления данных трансляции для всех поддерживаемых пакетов (включая Python).

И убедитесь, что вы используете правильную кодировку в своем коде.

Например:

open(foo, encoding='utf-8')

Затем дважды проверьте конфигурацию вашей системы, например, значение LANG или конфигурацию locale (/etc/default/locale), и не забудьте повторно войти в свой сеанс.