Python : ISO-8859-1 / latin1에서 UTF-8로 변환


87

이메일 모듈을 사용하여 Quoted-printable에서 ISO-8859-1로 디코딩 된이 문자열이 있습니다. 이것은 "Äpple"(스웨덴어로 Apple)에 해당하는 "\ xC4pple"과 같은 문자열을 제공합니다. 그러나 해당 문자열을 UTF-8로 변환 할 수 없습니다.

>>> apple = "\xC4pple"
>>> apple
'\xc4pple'
>>> apple.encode("UTF-8")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 0: ordinal not in     range(128)

어떻게해야합니까?

답변:


122

먼저 디코딩 한 다음 인코딩 :

apple.decode('iso-8859-1').encode('utf8')

5
내 언어 (포르투갈어)로 인코딩하는 데 문제가 있었기 때문에 저에게 효과가 있었던 것은 string.decode ( 'iso-8859-1'). encode ( 'latin1')이었습니다. 또한, 내 파이썬 파일의 상단에,이 #이 - - 코딩 : 라틴어 - 1 - -
Moon13

149

이것은 일반적인 문제이므로 비교적 철저한 그림이 있습니다.

유니 코드가 아닌 문자열 (예 : u접두사가 없는 문자열 u'\xc4pple')의 경우 네이티브 인코딩 ( iso8859-1/ latin1, 수수께끼sys.setdefaultencoding 함수로 수정 하지 않는 한) 에서로 디코딩 unicode한 다음 원하는 문자를 표시 할 수있는 문자 집합으로 인코딩해야합니다.이 경우에는 I 추천합니다UTF-8 합니다.

첫째, 다음은 Python 2.7 문자열 및 유니 코드의 패턴을 조명하는 데 도움이되는 편리한 유틸리티 함수입니다.

>>> def tell_me_about(s): return (type(s), s)

일반 문자열

>>> v = "\xC4pple" # iso-8859-1 aka latin1 encoded string

>>> tell_me_about(v)
(<type 'str'>, '\xc4pple')

>>> v
'\xc4pple'        # representation in memory

>>> print v
?pple             # map the iso-8859-1 in-memory to iso-8859-1 chars
                  # note that '\xc4' has no representation in iso-8859-1, 
                  # so is printed as "?".

iso8859-1 문자열 디코딩-일반 문자열을 유니 코드로 변환

>>> uv = v.decode("iso-8859-1")
>>> uv
u'\xc4pple'       # decoding iso-8859-1 becomes unicode, in memory

>>> tell_me_about(uv)
(<type 'unicode'>, u'\xc4pple')

>>> print v.decode("iso-8859-1")
Äpple             # convert unicode to the default character set
                  # (utf-8, based on sys.stdout.encoding)

>>> v.decode('iso-8859-1') == u'\xc4pple'
True              # one could have just used a unicode representation 
                  # from the start

더 많은 그림 — "Ä"

>>> u"Ä" == u"\xc4"
True              # the native unicode char and escaped versions are the same

>>> "Ä" == u"\xc4"  
False             # the native unicode char is '\xc3\x84' in latin1

>>> "Ä".decode('utf8') == u"\xc4"
True              # one can decode the string to get unicode

>>> "Ä" == "\xc4"
False             # the native character and the escaped string are
                  # of course not equal ('\xc3\x84' != '\xc4').

UTF로 인코딩

>>> u8 = v.decode("iso-8859-1").encode("utf-8")
>>> u8
'\xc3\x84pple'    # convert iso-8859-1 to unicode to utf-8

>>> tell_me_about(u8)
(<type 'str'>, '\xc3\x84pple')

>>> u16 = v.decode('iso-8859-1').encode('utf-16')
>>> tell_me_about(u16)
(<type 'str'>, '\xff\xfe\xc4\x00p\x00p\x00l\x00e\x00')

>>> tell_me_about(u8.decode('utf8'))
(<type 'unicode'>, u'\xc4pple')

>>> tell_me_about(u16.decode('utf16'))
(<type 'unicode'>, u'\xc4pple')

유니 코드와 UTF 및 latin1 간의 관계

>>> print u8
Äpple             # printing utf-8 - because of the encoding we now know
                  # how to print the characters

>>> print u8.decode('utf-8') # printing unicode
Äpple

>>> print u16     # printing 'bytes' of u16
���pple

>>> print u16.decode('utf16')
Äpple             # printing unicode

>>> v == u8
False             # v is a iso8859-1 string; u8 is a utf-8 string

>>> v.decode('iso8859-1') == u8
False             # v.decode(...) returns unicode

>>> u8.decode('utf-8') == v.decode('latin1') == u16.decode('utf-16')
True              # all decode to the same unicode memory representation
                  # (latin1 is iso-8859-1)

유니 코드 예외

 >>> u8.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0:
  ordinal not in range(128)

>>> u16.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0:
  ordinal not in range(128)

>>> v.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 0:
  ordinal not in range(128)

특정 인코딩 (latin-1, utf8, utf16)에서 유니 코드 (예 : u8.decode('utf8').encode('latin1').

따라서 아마도 다음과 같은 원칙과 일반화를 그릴 수 있습니다.

  • 유형 str은 라틴 -1, UTF-8 및 UTF-16과 같은 여러 인코딩 중 하나를 가질 수있는 바이트 세트입니다.
  • 유형 unicode은 임의의 수의 인코딩, 가장 일반적으로 UTF-8 및 latin-1 (iso8859-1)로 변환 할 수있는 바이트 세트입니다.
  • print명령에는 인코딩에 대한 자체 논리있으며sys.stdout.encoding UTF-8로 설정 되고 기본값이 설정됩니다.
  • str다른 인코딩으로 변환하기 전에 a 를 유니 코드로 디코딩해야합니다 .

물론이 모든 것이 Python 3.x에서 변경되었습니다.

그것이 밝혀지는 희망.

추가 읽기

그리고 Armin Ronacher의 매우 예시적인 폭언 :


12
이러한 자세한 설명, 내가 :) 유래에있는 가장 좋은 해답 중 하나 작성하는 시간을내어 주셔서 감사합니다
ruyadorno을

5
와. 간결하고 이해하기 쉬우 며 예제로 설명합니다. Intertubes를 개선해 주셔서 감사합니다.
Monkey Boson

23

Python 3 :

bytes(apple,'iso-8859-1').decode('utf-8')

utf-8 대신 iso-8859-1 ( VeÅ \ x99ejnà © 와 같은 단어 표시)으로 잘못 인코딩 된 텍스트에 이것을 사용했습니다 . 이 코드는 올바른 버전 Veřejné를 생성합니다 .


어디에서 bytes왔습니까?
alvas

1
문서 : bytes . 이 질문 과 답변 도 참조하십시오 .
Michal Skop

3
누락 된 요청 또는 잘못된 헤더 다운로드 한 파일의 경우 : r = requests.get(url)다음 직접 설정을 r.encoding = 'utf-8'나를 위해 일한
마이클 Skop

bytes.decode 메서드 문서.
마이크

10

유니 코드로 디코딩하고 결과를 UTF8로 인코딩합니다.

apple.decode('latin1').encode('utf8')

0
concept = concept.encode('ascii', 'ignore') 
concept = MySQLdb.escape_string(concept.decode('latin1').encode('utf8').rstrip())

나는 이것이 좋은 접근 방식인지 확실하지 않지만 매번 작동합니다 !!

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.