이것은 일반적인 문제이므로 비교적 철저한 그림이 있습니다.
유니 코드가 아닌 문자열 (예 : u
접두사가 없는 문자열 u'\xc4pple'
)의 경우 네이티브 인코딩 ( iso8859-1
/ latin1
, 수수께끼sys.setdefaultencoding
함수로 수정 하지 않는 한) 에서로 디코딩 unicode
한 다음 원하는 문자를 표시 할 수있는 문자 집합으로 인코딩해야합니다.이 경우에는 I 추천합니다UTF-8
합니다.
첫째, 다음은 Python 2.7 문자열 및 유니 코드의 패턴을 조명하는 데 도움이되는 편리한 유틸리티 함수입니다.
>>> def tell_me_about(s): return (type(s), s)
일반 문자열
>>> v = "\xC4pple"
>>> tell_me_about(v)
(<type 'str'>, '\xc4pple')
>>> v
'\xc4pple'
>>> print v
?pple
iso8859-1 문자열 디코딩-일반 문자열을 유니 코드로 변환
>>> uv = v.decode("iso-8859-1")
>>> uv
u'\xc4pple'
>>> tell_me_about(uv)
(<type 'unicode'>, u'\xc4pple')
>>> print v.decode("iso-8859-1")
Äpple
>>> v.decode('iso-8859-1') == u'\xc4pple'
True
더 많은 그림 — "Ä"
>>> u"Ä" == u"\xc4"
True
>>> "Ä" == u"\xc4"
False
>>> "Ä".decode('utf8') == u"\xc4"
True
>>> "Ä" == "\xc4"
False
UTF로 인코딩
>>> u8 = v.decode("iso-8859-1").encode("utf-8")
>>> u8
'\xc3\x84pple'
>>> tell_me_about(u8)
(<type 'str'>, '\xc3\x84pple')
>>> u16 = v.decode('iso-8859-1').encode('utf-16')
>>> tell_me_about(u16)
(<type 'str'>, '\xff\xfe\xc4\x00p\x00p\x00l\x00e\x00')
>>> tell_me_about(u8.decode('utf8'))
(<type 'unicode'>, u'\xc4pple')
>>> tell_me_about(u16.decode('utf16'))
(<type 'unicode'>, u'\xc4pple')
유니 코드와 UTF 및 latin1 간의 관계
>>> print u8
Äpple
>>> print u8.decode('utf-8')
Äpple
>>> print u16
���pple
>>> print u16.decode('utf16')
Äpple
>>> v == u8
False
>>> v.decode('iso8859-1') == u8
False
>>> u8.decode('utf-8') == v.decode('latin1') == u16.decode('utf-16')
True
유니 코드 예외
>>> u8.encode('iso8859-1')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0:
ordinal not in range(128)
>>> u16.encode('iso8859-1')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0:
ordinal not in range(128)
>>> v.encode('iso8859-1')
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 0:
ordinal not in range(128)
특정 인코딩 (latin-1, utf8, utf16)에서 유니 코드 (예 : u8.decode('utf8').encode('latin1')
.
따라서 아마도 다음과 같은 원칙과 일반화를 그릴 수 있습니다.
- 유형
str
은 라틴 -1, UTF-8 및 UTF-16과 같은 여러 인코딩 중 하나를 가질 수있는 바이트 세트입니다.
- 유형
unicode
은 임의의 수의 인코딩, 가장 일반적으로 UTF-8 및 latin-1 (iso8859-1)로 변환 할 수있는 바이트 세트입니다.
- 이
print
명령에는 인코딩에 대한 자체 논리 가 있으며sys.stdout.encoding
UTF-8로 설정 되고 기본값이 설정됩니다.
str
다른 인코딩으로 변환하기 전에 a 를 유니 코드로 디코딩해야합니다 .
물론이 모든 것이 Python 3.x에서 변경되었습니다.
그것이 밝혀지는 희망.
추가 읽기
그리고 Armin Ronacher의 매우 예시적인 폭언 :