Что может вызвать эту ошибку, когда я пытаюсь вставить в базу данных внешний символ?
>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)
И как мне его решить?
Спасибо!
Что может вызвать эту ошибку, когда я пытаюсь вставить в базу данных внешний символ?
>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)
И как мне его решить?
Спасибо!
Символ U + 201C Левая двойная метка цитаты отсутствует в кодировке Latin-1 (ISO-8859-1).
Он присутствует на кодовой странице 1252 (западноевропейский). Это кодировка Windows, основанная на ISO-8859-1, но которая добавляет дополнительные символы в диапазон 0x80-0x9F. Кодовая страница 1252 часто путается с ISO-8859-1, и это раздражает, но теперь стандартное поведение веб-браузера, что, если вы обслуживаете свои страницы как ISO-8859-1, браузер будет рассматривать их как cp1252. Однако на самом деле это два разных кодировки:
>>> u'He said \u201CHello\u201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said \u201CHello\u201D'.encode('cp1252')
'He said \x93Hello\x94'
Если вы используете свою базу данных только как хранилище байтов, вы можете использовать cp1252 для кодирования "
и других символов, присутствующих на кодовой странице Windows. Но все еще другие символы Unicode, которые отсутствуют в cp1252, будут вызывать ошибки.
Вы можете использовать encode(..., 'ignore')
для подавления ошибок, избавляясь от символов, но на самом деле в этом столетии вы должны использовать UTF-8 как в своей базе данных, так и на ваших страницах. Эта кодировка позволяет использовать любой символ. В идеале вы также должны сказать MySQL, что вы используете строки UTF-8 (путем установки соединения с базой данных и сортировки по столбцам строки), поэтому он может получить сравнение и сортировку без учета регистра.
Я столкнулся с этой проблемой при использовании модуля Python MySQLdb. Поскольку MySQL позволит вам хранить практически любые бинарные данные, которые вы хотите в текстовом поле, независимо от набора символов, я нашел здесь свое решение:
Использование UTF8 с Python MySQLdb
Изменить: Цитата из вышеуказанного URL-адреса, чтобы удовлетворить запрос в первом комментарии...
"UnicodeEncodeError: 'latin-1' кодек не может кодировать символ..."
Это потому, что MySQLdb обычно пытается кодировать каждый из них на латинский-1. Это можно устранить, выполнив следующие команды сразу после вы установили соединение:
db.set_character_set('utf8')
dbc.execute('SET NAMES utf8;')
dbc.execute('SET CHARACTER SET utf8;')
dbc.execute('SET character_set_connection=utf8;')
"db" является результатом
MySQLdb.connect()
, а "dbc" является результатомdb.cursor()
.
Я надеюсь, что ваша база данных не менее UTF-8. Затем вам нужно запустить yourstring.encode('utf-8')
, прежде чем пытаться поместить его в базу данных.
Лучшее решение
выполните этот комментарий (добавьте use_unicode=True
и charset="utf8"
)
db = MySQLdb.connect(host = "localhost", user = "root", passwd = ", db =" testdb ", use_unicode = True, charset =" utf8") - KyungHoon Kim Mar 13 '14 в 17:04
подробно см.:
class Connection(_mysql.connection):
"""MySQL Database Connection Object"""
default_cursor = cursors.Cursor
def __init__(self, *args, **kwargs):
"""
Create a connection to the database. It is strongly recommended
that you only use keyword parameters. Consult the MySQL C API
documentation for more information.
host
string, host to connect
user
string, user to connect as
passwd
string, password to use
db
string, database to use
port
integer, TCP/IP port to connect to
unix_socket
string, location of unix_socket to use
conv
conversion dictionary, see MySQLdb.converters
connect_timeout
number of seconds to wait before the connection attempt
fails.
compress
if set, compression is enabled
named_pipe
if set, a named pipe is used to connect (Windows only)
init_command
command which is run once the connection is created
read_default_file
file from which default client values are read
read_default_group
configuration group to use from the default file
cursorclass
class object, used to create cursors (keyword only)
use_unicode
If True, text-like columns are returned as unicode objects
using the connection character set. Otherwise, text-like
columns are returned as strings. columns are returned as
normal strings. Unicode objects will always be encoded to
the connection character set regardless of this setting.
charset
If supplied, the connection character set will be changed
to this character set (MySQL-4.1 and newer). This implies
use_unicode=True.
sql_mode
If supplied, the session SQL mode will be changed to this
setting (MySQL-4.1 and newer). For more details and legal
values, see the MySQL documentation.
client_flag
integer, flags to use or 0
(see MySQL docs or constants/CLIENTS.py)
ssl
dictionary or mapping, contains SSL connection parameters;
see the MySQL documentation for more details
(mysql_ssl_set()). If this is set, and the client does not
support SSL, NotSupportedError will be raised.
local_infile
integer, non-zero enables LOAD LOCAL INFILE; zero disables
autocommit
If False (default), autocommit is disabled.
If True, autocommit is enabled.
If None, autocommit isn't set and server default is used.
There are a number of undocumented, non-standard methods. See the
documentation for the MySQL C API for some hints on what they do.
"""
Вы пытаетесь сохранить код Unicode \u201c
с использованием кодировки ISO-8859-1 / Latin-1
, которая не может описать этот код. Вам может понадобиться изменить базу данных для использования utf-8 и сохранить строковые данные с помощью соответствующей кодировки, или вы можете захотеть дезинфицировать ваши входы до хранения содержимого; то есть с помощью что-то вроде превосходного руководства i18n от Sam Ruby. Это говорит о проблемах, которые может вызвать windows-1252
, и предлагает, как обрабатывать его, а также ссылки на образец кода!
Пользователи SQLAlchemy могут просто указать свое поле как convert_unicode=True
.
Пример:
sqlalchemy.String(1000, convert_unicode=True)
SQLAlchemy будет просто принимать объекты unicode и возвращать их обратно, обрабатывая сама кодировку.
Latin-1 (aka ISO 8859-1) - это одна схема кодирования символов октета, и вы не можете вместить \u201c
("
) в байт.
Вы хотели использовать кодировку UTF-8?
Python: вам нужно будет добавить # - * - кодирование: UTF-8 - * - (удалить пробелы вокруг *) в первую строку файла python. а затем добавьте следующее в текст для кодирования: .encode('ascii', 'xmlcharrefreplace'). Это заменит все символы юникода эквивалентом ASCII.