Django에서 유니 코드 문자열을 저장할 때 MySQL "잘못된 문자열 값"오류

first_name, last_name을 Django의 auth_user 모델에 저장하려고 할 때 이상한 오류 메시지가 나타납니다.

실패한 예

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkevičius'
user.save()
>>> Incorrect string value: '\xC4\x8Dius' for column 'last_name' at row 104

user.first_name = u'Валерий'
user.last_name = u'Богданов'
user.save()
>>> Incorrect string value: '\xD0\x92\xD0\xB0\xD0\xBB...' for column 'first_name' at row 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukiełojć'
user.save()
>>> Incorrect string value: '\xC5\x82oj\xC4\x87' for column 'last_name' at row 104

성공한 예

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> SUCCEED

MySQL 설정

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

테이블 문자셋과 콜 레이션

auth_user 테이블에는 utf8_general_ci 데이터 정렬이 포함 된 utf-8 문자 세트가 있습니다.

UPDATE 명령의 결과

UPDATE 명령을 사용하여 위의 값을 auth_user 테이블로 업데이트 할 때 오류가 발생하지 않았습니다.

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 row in set (0.00 sec)

PostgreSQL

장고에서 데이터베이스 백엔드를 전환하면 위에 나열된 실패한 값을 PostgreSQL 테이블로 업데이트 할 수 있습니다. 이상하다.

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

그러나 http://www.postgresql.org/docs/8.1/interactive/multibyte.html 에서 다음을 발견했습니다.

Name Bytes/Char
UTF8 1-4

유니 코드 문자가 PostgreSQL에서는 최대 4 바이트이지만 MySQL에서는 3 바이트로 위의 오류가 발생 했습니까?

이 답변들 중 어느 것도 나를 위해 문제를 해결하지 못했습니다. 근본 원인은 다음과 같습니다.

utf-8 문자 세트를 사용하여 MySQL에 4 바이트 문자를 저장할 수 없습니다.

MySQL은 utf-8 문자에 대해 3 바이트 제한이 있습니다 (예, Django 개발자가 요약 한 것입니다 )

이 문제를 해결하려면 다음이 필요합니다.

1. utf8mb4 문자 세트 를 사용하도록 MySQL 데이터베이스, 테이블 및 열을 변경하십시오 (MySQL 5.5 이상에서만 사용 가능)
2. 다음과 같이 Django 설정 파일에서 문자 세트를 지정하십시오.

settings.py

DATABASES = {
    'default': {
        'ENGINE':'django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

참고 : 데이터베이스를 다시 만들 때 ' 지정된 키가 너무 깁니다 '문제 가 발생할 수 있습니다 .

가장 큰 원인은 CharFieldmax_length가 255이고 어떤 종류의 인덱스가있는 것입니다 (예 : 고유). utf8mb4는 utf-8보다 33 % 더 많은 공간을 사용하므로이 필드를 33 % 더 작게 만들어야합니다.

이 경우 max_length를 255에서 191로 변경하십시오.

또는 django 해커가없는 이 제한을 제거하기 위해 MySQL 구성을 편집 할 수 있습니다

업데이트 : 방금이 문제가 다시 발생 하여 191자를 줄일 수 없기 때문에 PostgreSQL로 전환했습니다VARCHAR .

나는 같은 문제가 있었고 열의 문자 집합을 변경하여 해결했습니다. 데이터베이스에 기본 문자 집합이 있지만 utf-8데이터베이스 열이 MySQL에서 다른 문자 집합을 가질 수 있다고 생각합니다. 내가 사용한 SQL QUERY는 다음과 같습니다.

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;

이 문제가 발생하면 mysql 데이터베이스의 모든 열을 자동으로 변경하는 Python 스크립트가 있습니다.

#! /usr/bin/env python
import MySQLdb

host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()

새로운 프로젝트라면 데이터베이스를 삭제하고 적절한 문자 세트로 새로운 데이터베이스를 만듭니다.

CREATE DATABASE <dbname> CHARACTER SET utf8;

위의 오류를 피하기 위해 한 가지 방법을 알아 냈습니다.

데이터베이스에 저장

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

이것이 문자열을 MySQL 테이블에 저장하고 디코딩하여 표시 할 템플릿으로 렌더링하기 전에 해독하는 유일한 방법입니까?

텍스트 필드의 데이터 정렬을 UTF8_general_ci로 변경할 수 있으며 문제가 해결됩니다.

장고에서는이 작업을 수행 할 수 없습니다.

유니 코드 문자열을 저장하지 않고 UTF-8 인코딩으로 바이트 문자열을 저장하려고합니다. 실제 유니 코드 문자열 리터럴로 만드십시오.

user.last_name = u'Slatkevičius'

또는 (문자열 리터럴이없는 경우) utf-8 인코딩을 사용하여 디코딩하십시오.

user.last_name = lastname.decode('utf-8')

테이블을 변경하기 만하면됩니다. 이 쿼리를 데이터베이스에서 실행하십시오. 문자 세트로 변경 테이블 변경 table_nameutf8

확실히 작동합니다.

@madprops 답변 개선-장고 관리 명령으로 솔루션 :

import MySQLdb
from django.conf import settings

from django.core.management.base import BaseCommand


class Command(BaseCommand):

    def handle(self, *args, **options):
        host = settings.DATABASES['default']['HOST']
        password = settings.DATABASES['default']['PASSWORD']
        user = settings.DATABASES['default']['USER']
        dbname = settings.DATABASES['default']['NAME']

        db = MySQLdb.connect(host=host, user=user, passwd=password, db=dbname)
        cursor = db.cursor()

        cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

        sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
        cursor.execute(sql)

        results = cursor.fetchall()
        for row in results:
            print(f'Changing table "{row[0]}"...')
            sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
            cursor.execute(sql)
        db.close()

희망이 나 이외의 사람에게 도움이되기를 바랍니다 :)