У меня есть команда subprocess, которая выводит некоторые символы, такие как '\ xf1'. Я пытаюсь расшифровать его как utf8, но я получаю сообщение об ошибке.
s = '\xf1'
s.decode('utf-8')
Вышеуказанные броски:
UnicodeDecodeError: 'utf8' codec can't decode byte 0xf1 in position 0: unexpected end of data
Это работает, когда я использую "latin-1", но не должен работать utf8? Я понимаю, что latin1 является подмножеством utf8.
Я что-то пропустил?
EDIT:
print s # ñ
repr(s) # returns "'\\xa9'"
Вы запутали Unicode с UTF-8. Latin-1 - это подмножество Unicode, но это не подмножество UTF-8. Избегайте, как чума когда-либо думает об отдельных единицах кода. Просто используйте коды. Не думайте о UTF-8. Подумайте о Unicode. Здесь вас путают.
Использование Unicode в Python очень просто. Его особенно с Python 3 и широкими сборками, единственный способ использовать Python, но вы все равно можете использовать устаревший Python 2 под узкой сборкой, если будете осторожны с тем, чтобы придерживаться UTF-8.
Для этого всегда правильно кодируйте исходный код и правильное кодирование вывода в UTF-8. Теперь перестаньте думать о UTF-ничего и используйте только буквы UTF-8, номера логических кодовых точек или символические имена символов во всей вашей программе Python.
Получает исходный код с номерами строк:
% cat -n /tmp/py
1 #!/usr/bin/env python3.2
2 # -*- coding: UTF-8 -*-
3
4 from __future__ import unicode_literals
5 from __future__ import print_function
6
7 import sys
8 import os
9 import re
10
11 if not (("PYTHONIOENCODING" in os.environ)
12 and
13 re.search("^utf-?8$", os.environ["PYTHONIOENCODING"], re.I)):
14 sys.stderr.write(sys.argv[0] + ": Please set your PYTHONIOENCODING envariable to utf8\n")
15 sys.exit(1)
16
17 print('1a: el ni\xF1o')
18 print('2a: el nin\u0303o')
19
20 print('1a: el niño')
21 print('2b: el niño')
22
23 print('1c: el ni\N{LATIN SMALL LETTER N WITH TILDE}o')
24 print('2c: el nin\N{COMBINING TILDE}o')
И вот функции печати с их символами без символов ASCII uniquote с использованием обозначения \x{⋯}:
% grep -n ^print /tmp/py | uniquote -x
17:print('1a: el ni\xF1o')
18:print('2a: el nin\u0303o')
20:print('1b: el ni\x{F1}o')
21:print('2b: el nin\x{303}o')
23:print('1c: el ni\N{LATIN SMALL LETTER N WITH TILDE}o')
24:print('2c: el nin\N{COMBINING TILDE}o')
Вот пример запуска этой программы, который показывает три разных способа выполнения (a, b и c): первый набор как литералы в исходном коде (который будет подчиняться преобразованиям NFC StackOverflows и, следовательно, не может быть доверенный!!!), а второй два набора с числовыми кодами Unicode и символическими именами символов Unicode соответственно, снова uniquote, чтобы вы могли видеть, что на самом деле есть:
% python /tmp/py
1a: el niño
2a: el niño
1b: el niño
2b: el niño
1c: el niño
2c: el niño
% python /tmp/py | uniquote -x
1a: el ni\x{F1}o
2a: el nin\x{303}o
1b: el ni\x{F1}o
2b: el nin\x{303}o
1c: el ni\x{F1}o
2c: el nin\x{303}o
% python /tmp/py | uniquote -v
1a: el ni\N{LATIN SMALL LETTER N WITH TILDE}o
2a: el nin\N{COMBINING TILDE}o
1b: el ni\N{LATIN SMALL LETTER N WITH TILDE}o
2b: el nin\N{COMBINING TILDE}o
1c: el ni\N{LATIN SMALL LETTER N WITH TILDE}o
2c: el nin\N{COMBINING TILDE}o
Мне очень не нравится смотреть на двоичный файл, но вот что это выглядит как двоичные байты:
% python /tmp/py | uniquote -b
1a: el ni\xC3\xB1o
2a: el nin\xCC\x83o
1b: el ni\xC3\xB1o
2b: el nin\xCC\x83o
1c: el ni\xC3\xB1o
2c: el nin\xCC\x83o
Даже если вы используете источник UTF-8, вы должны думать и использовать только логические номера кодовых номеров Unicode (или символические именованные символы), а не отдельные 8-битные единицы кода, которые лежат в основе последовательного представления UTF-8 (или для это вопрос UTF-16). Чрезвычайно редко нужны кодовые единицы вместо кодовых точек, и это просто путает вас.
Вы также получите более надежное поведение, если используете широкую сборку Python3, чем вы получите альтернативы этим выборам, но это вопрос UTF-32, а не UTF-8. С UTF-32 и UTF-8 легко работать, если вы просто переходите с потоком.
UTF-8 не является подмножеством латинского-1. UTF-8 кодирует ASCII с одинаковыми байтами. Для всех остальных кодовых точек все несколько байтов.
Проще говоря, \xf1 недействителен UTF-8, как говорит Python. "Неожиданный конец ввода" указывает, что этот байт отмечает начало многобайтовой последовательности, которая не предоставляется.
Я рекомендую вам читать UTF-8.
Это первый байт многобайтовой последовательности в UTF-8, поэтому он недействителен сам по себе.
Фактически, это первый байт из 4-байтовой последовательности.
Bits Last code point Byte 1 Byte 2 Byte 3 Byte 4 Byte 5 Byte 6
21 U+1FFFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
Подробнее см. здесь.
Я понимаю, что latin1 является подмножеством utf8.
Неправильно. Latin-1, aka ISO 8859-1 (а иногда ошибочно как Windows-1252), не является подмножеством UTF-8. ASCII, с другой стороны, является подмножеством UTF-8. Строки ASCII являются действительными строками UTF-8, но обобщенные строки Windows-1252 или ISO 8859-1 недопустимы UTF-8, поэтому s.decode('UTF-8') выбрасывает UnicodeDecodeError.