UTF-8“가변 너비 인코딩”은 어떻게 작동합니까?

유니 코드 표준에는 모두 저장하는 데 4 바이트가 필요한 충분한 코드 포인트가 있습니다. 이것이 UTF-32 인코딩이하는 일입니다. 그러나 UTF-8 인코딩은 "가변 너비 인코딩"이라는 것을 사용하여이를 훨씬 더 작은 공간으로 압축합니다.

실제로 US-ASCII의 처음 127 개 문자를 실제 ASCII와 똑같이 보이는 단 1 바이트로 표현할 수 있으므로 아무 작업도하지 않고도 많은 ASCII 텍스트를 UTF-8 인 것처럼 해석 할 수 있습니다. 깔끔한 트릭. 그래서 어떻게 작동합니까?

나는 그것을 이해하기 위해 약간의 독서를했고 다른 누군가의 시간을 절약 할 수있을 것이라고 생각했기 때문에 여기에서 내 자신의 질문을 묻고 대답 할 것입니다. 게다가 내가 틀렸다면 누군가 나를 고칠 수도 있습니다.

각 바이트는 단일 바이트 코드 포인트인지, 멀티 바이트 코드 포인트인지, 멀티 바이트 코드 포인트의 연속인지를 알려주는 몇 개의 비트로 시작합니다. 이렇게 :

0xxx xxxx    A single-byte US-ASCII code (from the first 127 characters)

다중 바이트 코드 포인트는 각각 본질적으로 "내가 무엇인지 파악하려면 다음 바이트 (또는 2, 3)도 읽어야합니다"라고 말하는 몇 개의 비트로 시작합니다. 그들은:

110x xxxx    One more byte follows
1110 xxxx    Two more bytes follow
1111 0xxx    Three more bytes follow

마지막으로 시작 코드를 따르는 바이트는 모두 다음과 같습니다.

10xx xxxx    A continuation of one of the multi-byte characters

처음 몇 비트에서 어떤 종류의 바이트를보고 있는지 알 수 있으므로 어딘가에서 엉망이 되더라도 전체 시퀀스를 잃지 않습니다.

RFC3629-ISO 10646의 변환 형식 인 UTF-8 이 여기에서 최종 권한이며 모든 설명이 있습니다.

요컨대, 단일 문자를 나타내는 UTF-8로 인코딩 된 1-4 바이트 시퀀스의 각 바이트에있는 여러 비트를 사용하여 후행 바이트인지 선행 바이트인지, 그렇다면 뒤에 오는 바이트 수를 나타냅니다. 나머지 비트에는 페이로드가 포함됩니다.

UTF-8은 8 비트 바이트를 사용하여 메모리에 유니 코드 코드 포인트 문자열 인 마법의 U + 숫자를 저장하는 또 다른 시스템입니다. UTF-8에서 0-127의 모든 코드 포인트는 단일 바이트에 저장됩니다. 128 이상의 코드 포인트 만 2, 3, 실제로 최대 6 바이트를 사용하여 저장됩니다.

절대 최소 에서 발췌 모든 소프트웨어 개발자는 절대적으로 유니 코드 및 문자 집합에 대해 반드시 알아야합니다 (변명 없음!)