Подтвердить что ты не робот

Чтение файла UTF-8 с кодеками в IronPython

У меня есть файл .csv, закодированный в UTF-8, который содержит как латинские, так и кириллические символы.

;F1;F2;abcdefg3;F200
;ABSOLUTE;NOMINAL;NOMINAL;NOMINAL
o1;1;USA;Новосибирск;1223

Я пытаюсь выполнить следующий script в IronPython 2.7.1:

import codecs

f = codecs.open(r"file.csv", "rb", "utf-8")
f.next()

Во время выполнения f.next() возникает исключение:

Traceback (most recent call last):
  File "c:\Program Files\Microsoft Visual Studio 10.0\Common7\IDE\Extensions\Microsoft\Python Tools for Visual Studio\1.1\visualstudio_py_repl.py", line 492, in run_file_as_main
    code.Execute(self.exec_mod)
  File "<string>", line 4, in <module>
  File "C:\Program Files\IronPython 2.7.1\Lib\codecs.py", line 684, in next
    return self.reader.next()
  File "C:\Program Files\IronPython 2.7.1\Lib\codecs.py", line 615, in next
    line = self.readline()
  File "C:\Program Files\IronPython 2.7.1\Lib\codecs.py", line 530, in readline
    data = self.read(readsize, firstline=True)
  File "C:\Program Files\IronPython 2.7.1\Lib\codecs.py", line 477, in read
    newchars, decodedbytes = self.decode(data, self.errors)
UnicodeEncodeError: ('unknown', '\x00', 0, 1, '')

В то же время в CPython 2.7 работает script. Также в IronPython 2.7.1 после script отлично работает:

import codecs

f = codecs.open(r"file.csv", "rb", "utf-8")
f.readlines()

Кто-нибудь знает, что может вызвать такое странное поведение?

4b9b3361

Ответ 1

Похоже, это может быть ошибка в том, как next() обрабатывает кодеки. Не могли бы вы открыть вопрос с файлами для воспроизведения прикрепленных файлов?

Ответ 2

Может возникнуть проблема с параметром "rb", попробуйте использовать "r"

f = codecs.open(r"file.csv", "r", "utf-8")