유니 코드 UTF 변환기


17

목표는 UTF FAQ에 제공된 공식 유니 코드 인코딩간에 완전히 호환되는 변환기를 만드는 것입니다 . 이것이 유니 코드를 중심으로한다는 점을 감안할 때 관련 인코딩 중 최상의 인코딩을 사용하여 가장 낮은 바이트 수의 응답을 수락합니다 (아마도 APL에서 프로그래밍하지 않으면 UTF-8 일 것입니다). 긴 게시물에 대해 사과 드리지만 공식 사양 (pdf, 섹션 3.9 D90-D92) 또는 Wikipedia 에서 액세스 할 수있는 인코딩에 대해 설명하고 있습니다 .

명세서

선택한 언어가 요구 사항을 정확하게 충족 할 수없는 경우 주어진 규칙의 정신을 고수하는 언어로 대체하십시오. 예 : 모든 언어에 내장 배열, 함수 등이있는 것은 아닙니다.

  • 문자열 라이브러리 / 함수 또는 인코딩 라이브러리 / 함수를 사용하지 않습니다. 이 코드 골프의 핵심은 비트 / 바이트 조작을 사용하여 변환기를 구현하는 것입니다. 문자열 자체를 문자 또는 바이트 배열로 사용할 수 있습니다. 아, 그리고 변환을 수행하는 OS 호출도 없습니다.

  • 변환기는 인코딩 된 입력 문자열을 나타내는 바이트 배열과 숫자로 표시되는 "입력"및 "출력"인코딩의 세 가지 매개 변수를 취하는 함수입니다. 임의로 UTF-8, UTF-16, UTF-16BE, UTF-16LE, UTF-32, UTF-32BE, and UTF32LE0에서 6까지의 숫자를 순서대로 할당 합니다. 숫자가 < 0또는 인지 여부를 확인할 필요가 없으며 > 6이러한 매개 변수가 올바른 것으로 가정합니다. 변환기는 원하는 출력 인코딩으로 유효한 바이트 배열을 반환합니다.

  • 널 문자 ( U+0000)를 문자열 종결 자로 사용합니다 . 이 후의 것은 중요하지 않습니다. 입력 배열에 널 문자가 있다고 가정하므로 경계 검사를 수행 할 필요가 없습니다.

  • 당으로서 FAQ 입력 바이트 어레이가 선언 인코딩 무효 인 경우, 우리는 에러를 시그널링한다. 다음 방법 중 하나로이 작업을 수행합니다. 프로그램 충돌, 예외 발생, null 반환 또는 처음 4 바이트가 모두 0 인 배열 반환 ( U+0000모든 인코딩에서 와 같이 인식 가능 ).

인코딩

공식 사양을 준수해야하지만 Wikipedia 는 인코딩에 대한 올바른 설명을 제공합니다 (완전하다고 생각되는 경우). UTF-16 및 UTF-32에는 엔디안 변형이 있습니다.

UTF-32, UTF-32LE, UTF-32BE

가장 간단한 인코딩 인 각 코드 포인트는 숫자 값과 동일한 4 바이트로 간단하게 인코딩됩니다. LE / BE는 엔디안 (little endian / big endian)을 나타냅니다.

UTF-16, UTF-16LE, UTF-16BE

의 코드 포인트 U+0000 - U+FFFF는 숫자 값과 동일한 2 바이트로 인코딩됩니다. 더 큰 값은 에서 예약 된 값인 서로 게이트 쌍을 사용하여 인코딩 됩니다 U+D800 - U+DFFF. 보다 큰 포인트를 인코딩 U+FFFF하려면 다음 알고리즘을 사용할 수 있습니다 ( Wikipedia 에서 뻔뻔스럽게 복사 ).

  • 코드 포인트에서 0x010000을 빼면 0..0x0FFFFF 범위에 20 비트 숫자가 남습니다.
  • 상위 10 비트 (0..0x03FF 범위의 숫자)는 0xD800에 추가되어 첫 번째 코드 단위 또는 리드 대리를 제공하며 0xD800..0xDBFF [...] 범위에 있습니다.
  • 하위 10 비트 (또한 0..0x03FF 범위)는 0xDC00에 추가되어 두 번째 코드 단위 또는 트레일 대리를 제공하며 0xDC00..0xDFFF [...] 범위에 있습니다.

UTF-8

의 코드 포인트 U+0000 - U+007F는 숫자 값과 동일한 1 바이트로 인코딩됩니다. 에서 U+0080 - U+07FF그들이로서 부호화되어 110xxxxx 10xxxxxx, U+0800 - U+FFFF이고 1110xxxx 10xxxxxx 10xxxxxx, 높은 값이다 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx. x의 코드 포인트 수치로부터 비트이다.

BOM

바이트 순서 표시 (BOM, U+FEFF)는 엔디안을 나타내는 첫 번째 코드 포인트로 사용됩니다. BOM에 대한 FAQ 지침에 따라 BOM은 다음과 같이 사용됩니다 UTF-8, UTF-16 and UTF-32. 선택 사항입니다. UTF-16또는에 BOM이 없으면 UTF-32빅 엔디안 인 것으로 가정합니다. BOM 은에 나타나지 않아야합니다UTF-16LE, UTF-16BE, UTF-32LE and UTF-32BE .

잘못된 UTF를 일으키는 일반적인 함정

여러 가지로 인해 바이트 시퀀스가 ​​유효하지 않은 UTF가 될 수 있습니다.

  • UTF-8 및 UTF-32 : 대리 코드 포인트 ( U+D800 - U+DFFF) 또는보다 큰 코드 포인트를 직접 인코딩합니다 U+10FFFF.
  • UTF-8 : 많은 유효하지 않은 바이트 시퀀스.
  • UTF-16 : 짝을 이루지 못하거나 짝을 이루지 못한 서로 게이트
  • BOM : 인코딩 섹션에 지정된대로 사용해야합니다. 출력 ( UTF-16또는 UTF-32고유 엔디안이 지정되지 않은 경우)을 선택할 수 있지만 엔디안이 거의없는 경우 BOM을 포함 해야합니다 .

문자가 아닌 문자와 할당되지 않은 코드 포인트 (대리인과 구별됨)는 일반 문자로 취급됩니다.


"문자열 라이브러리 / 함수 또는 인코딩 라이브러리 / 함수를 사용하지 않습니다." 실제 내장은 어떻습니까? APL에서 ''⎕R''⍠'InEnc' 'UTF16BE' 'OutEnc' 'UTF8-BOM'.
Adám

2
@NBZ이 도전의 요점은 그들이 제공하는 행동을 구현하는 것이므로 허용되지 않을 것입니다.
DPenner1

답변자 참고 사항 : 나는이 질문을 어느 정도 포기했지만 최근에 새롭게 관심을 기울인다면 앞으로 며칠 동안 답을 찾기 위해 시간이 걸릴 것입니다.
DPenner1

답변:


3

C ++, (UTF-8) 971 바이트

#include<cstdint>
using u=uint8_t;using U=uint32_t;U i,o,x,b,m;U R(u*&p){x=*p++;if(!i){m=0;while(128>>m&x)++m;if(m>1)for(x&=127>>m;--m;)x=x<<6|((*p&192)-128?~0:*p++&63);return m?x=~0:x;}else if(i<3){x<<=8;x+=*p++;}else if(i<4){x+=*p++<<8;}else if(i<6){x<<=24;x+=*p++<<16;x+=*p++<<8;x+=*p++;}else{x+=*p++<<8;x+=*p++<<16;x+=*p++<<24;}return x;}U r(u*&p){U x0=R(p);if(i&&i<4&&x>>10==54)x=R(p)>>10==55?(x0<<10)+x-56613888:~0;if(!b++){if(x==65279)if(!i||i%3==1)r(p);else x=~0;else if(x==65534&&i==1)i=3,r(p);else if(x==4294836224&&i==4)i=6,r(p);}return x>1114111||x>>11==27?x=~0:x;}void w(U x,u*&p){if(!o){if(x<128)*p++=x;else{for(m=0;~63<<m&x;m+=6);for(*p++=~127>>m/6|x>>m;m;)*p++=128|x>>(m-=6)&63;}}else if(o<4&&x>65535)x-=65536,w(55296|x>>10,p),w(56320|x&1023,p);else if(o<3)*p++=x>>8,*p++=x;else if(o<4)*p++=x,*p++=x>>8;else if(o<6)*p++=x>>24,*p++=x>>16,*p++=x>>8,*p++=x;else*p++=x,*p++=x>>8,*p++=x>>16,*p++=x>>24;}int t(u*&p,u*&q){for(b=0,x=1;U(x+x);)w(r(p),q);return x;}

아래의 읽을 수있는 프로그램은 다음 Perl 명령을 통해 필터링하여 위의 형식으로 요약 할 수 있습니다.

perl -p0 -e 's!//.*!!g;s/\s+/ /g;s/ \B|\B //g;s/0x[\da-f]+/hex($&)/ige;s/#include<[^<>]+>/\n$&\n/g;s/^\n+//mg'

위의 명령

  • 주석을 제거합니다
  • 불필요한 공백을 제거합니다
  • 16 진 리터럴을 10 진수로 변환
  • #include줄 바꿈 개행

읽을 수있는 코드

#include <cstdint>
using u = uint8_t;
using U = uint32_t;

U   i,                          // input encoding
    o,                          // output encoding
    x,                          // last read value
    b,                          // char count(BOM only valid when b==0)
    m;                          // temporary variable for measuring UTF-8

//   Encodings:
// 0 UTF-8
// 1 UTF-16
// 2 UTF-16BE
// 3 UTF-16LE
// 4 UTF-32
// 5 UTF-32BE
// 6 UTF-32LE

// Read a character or UTF-16 surrogate
U R(u*& p) {
    x = *p++;
    if (!i) { // UTF-8
        m=0; while (128>>m&x) ++m; // how many bytes?
        if (m>1) for (x&=127>>m; --m; ) x = x<<6 | ((*p&192)-128?~0:*p++&63);
        return m ? x=~0 : x;
    } else if (i<3) { // UTF-16, UTF-16BE
        x<<=8; x+=*p++;
    } else if (i<4) { // UTF-16LE
        x+=*p++<<8;
    } else if (i<6) { // UTF-32, UTF-32BE
        x<<=24; x+=*p++<<16; x+=*p++<<8; x+=*p++;
    } else { // UTF-32LE
        x+=*p++<<8; x+=*p++<<16; x+=*p++<<24;
    }
    return x;
}

// Read a character, combining surrogates, processing BOM, and checking range
U r(u*& p) {
    U x0 = R(p);
    if (i && i<4 && x>>10==54)
        x = R(p)>>10==55 ? (x0<<10)+x-56613888: ~0; // 56613888 == 0xd800<<10 + 0xdc00 - 0x10000
    if (!b++) {                 // first char - is it BOM?
        if (x==0xFEFF)
            if (!i || i%3==1)
                r(p); // BOM in UTF-8 or UTF-16 or UTF-32 - ignore, and read next char
            else
                x = ~0; // not allowed in these modes
        else if (x==0xFFFE && i==1)
            i=3,r(p); // reversed BOM in UTF-16 - change to little-endian, and read next char
        else if (x==0xFFFE0000 && i==4)
            i=6,r(p); // reversed BOM in UTF-32 - change to little-endian, and read next char
    }
    return x>0x10ffff || x>>11==27 ? x=~0 : x;
}


// Write character(assumed in-range)
void w(U x, u*& p) {
    if (!o) { // UTF-8
        if (x<128) *p++=x;        // ASCII
        else {
            for (m=0; ~63<<m&x; m+=6); // how many bits?
            for (*p++=~127>>m/6|x>>m; m; ) *p++ = 128|x>>(m-=6)&63;
        }
    } else if (o<4 && x>65535)  // UTF-16 surrogate
        x-=65536, w(0xD800|x>>10,p), w(0xDC00|x&0x3FF,p);
    else if (o<3)  // UTF-16, UTF-16BE
        *p++=x>>8, *p++=x;
    else if (o<4)  // UTF-16LE
        *p++=x, *p++=x>>8;
    else if (o<6)  // UTF-32, UTF-32BE
        *p++=x>>24, *p++=x>>16, *p++=x>>8, *p++=x;
    else  // UTF-32LE
        *p++=x, *p++=x>>8, *p++=x>>16, *p++=x>>24;
}

// Transcode
int t(u*& p, u*& q)                  // input, output
{
    for (b=0,x=1;U(x+x);)    // exit condition is true only for x==-x, i.e. 0 and ~0
        w(r(p),q);
    return x;
}

호출되는 함수이다 t()입출력 인코딩 전역 변수에 전달하여, i그리고 o각각과 p입력의 바이트를 가리키는 해야 널 종료 될. q덮어 될 것이며, 출력 버퍼에 포인트 한다 결과에 대해 충분히 큰 수는 - 버퍼 오버런으로 피하려는 시도가 없다.

코드 주석이 충분히 설명되기를 바랍니다. 아래 중 하나가 너무 암호가 아닌지 물어보십시오 (그러나 먼저 노력하십시오!).

이 답변을 개발하는 동안 실질적인 테스트 스위트를 작성했습니다. 다른 참가자의 이익을 위해 아래에 포함시키고 요구 사항에 대한 해석을 문서화합니다.

테스트 기능

#include <vector>
#include <iostream>

std::ostream& operator<<(std::ostream& out, const std::vector<u>& v)
{
    out << "{ ";
    for (int i: v) out << i << " ";
    out << "}";
    return out;
}

int test_read(int encoding, std::vector<u> input, U expected)
{
    b = 0;
    i = encoding;
    auto d = input.data();
    U actual = r(d);
    if (actual == expected) return 0;
    std::cerr << std::hex << "Decoding " << encoding << "; " << input << " gave " << actual
              << " instead of " << expected << std::endl;
    return 1;
}

int test_write(int encoding, U input, std::vector<u> expected)
{
    o = encoding;
    u buf[20], *p = buf;
    w(input, p);
    std::vector<u> actual(buf,p);
    if (expected == actual) return 0;
    std::cerr << std::hex << "Encoding " << encoding << "; " << input << " gave " << actual
              << " instead of " << expected << std::endl;
    return 1;
}

int test_transcode(int ienc, std::vector<u> input, int oenc, std::vector<u> expected)
{
    b = 0;
    i = ienc; o = oenc;
    u buf[200], *p = buf, *d = input.data();
    int result = t(d, p);
    std::vector<u> actual(buf,p);
    if (result ? expected.empty() : expected == actual) return 0;
    std::cerr << std::hex << "Encoding " << ienc << " to " << oenc << "; " << input << " gave " << actual
              << " instead of " << expected << std::endl;
    return 1;
}

테스트 스위트

static const U FAIL = ~0;
int main() {
    int e = 0;                        // error count
    // UTF-8
    e += test_read(0, { 128 }, FAIL); // unexpected continuation
    e += test_read(0, { 128, 1 }, FAIL);
    e += test_read(0, { 128, 128 }, FAIL);
    e += test_read(0, { 192, 192 }, FAIL); // start without continuation
    e += test_read(0, { 192, 0 }, FAIL);
    e += test_read(0, { 224, 0 }, FAIL);
    e += test_read(0, { 224, 192 }, FAIL);
    e += test_read(0, { 0xf4, 0x90, 128, 128 }, FAIL); // Unicode maximum+1

    e += test_read(0, { 127 }, 127);
    e += test_read(0, { 192, 129 }, 1); // We accept overlong UTF-8
    e += test_read(0, { 0xc2, 128 }, 128);
    e += test_read(0, { 224, 128, 129 }, 1);
    e += test_read(0, { 0xef, 128, 128 }, 0xF000);
    e += test_read(0, { 0xef, 191, 191 }, 0xFFFF);
    e += test_read(0, { 0xf4, 128, 128, 128 }, 0x100000);
    e += test_read(0, { 0xf4, 0x8f, 191, 191 }, 0x10FFFF); // Unicode maximum

    e += test_read(0, { 0xEF, 0xBB, 0xBF, 127 }, 127); // byte-order mark

    e += test_write(0, 0, { 0 });
    e += test_write(0, 127, { 127 });
    e += test_write(0, 128, { 0xc2, 128 });
    e += test_write(0, 255, { 0xc3, 191 });
    e += test_write(0, 0xFFFF, { 0xef, 191, 191 });
    e += test_write(0, 0x10FFFF, { 0xf4, 0x8f, 191, 191 });

    // UTF-16
    e += test_read(1, { 0, 1 }, 1);
    e += test_read(1, { 0xd8, 0, 0xdc, 1 }, 0x10001);
    e += test_read(1, { 0xdb, 0xff, 0xdf, 0xff }, 0x10ffff);

    e += test_read(1, { 0xd8, 0, 0xd8, 1 }, FAIL); // mismatched surrogate
    e += test_read(1, { 0xd8, 0, 0, 1 }, FAIL); // mismatched surrogate
    e += test_read(1, { 0xdc, 0 }, FAIL);

    e += test_write(1, 1, { 0, 1 });
    e += test_write(1, 256, { 1, 0 });
    e += test_write(1, 0xffff, { 255, 255 });
    e += test_write(1, 0x10001, { 0xd8, 0, 0xdc, 1 });
    e += test_write(1, 0x10ffff, { 0xdb, 0xff, 0xdf, 0xff });

    // UTF-16LE
    e += test_write(3, 1, { 1, 0 });
    e += test_write(3, 256, { 0, 1 });
    e += test_write(3, 0x10001, { 0, 0xd8, 1, 0xdc });
    e += test_write(3, 0x10fffe, { 0xff, 0xdb, 0xfe, 0xdf });

    // UTF-16 byte-order mark
    e += test_read(1, { 0xFE, 0xFF, 0x0, 1 }, 1); // byte-order mark
    e += test_read(1, { 0xFF, 0xFE, 1, 0x0 }, 1); // reversed byte-order mark
    // disallowed byte-order marks
    e += test_read(2, { 0xFE, 0xFF }, FAIL);
    e += test_read(3, { 0xFF, 0xFE }, FAIL);
    // reversed byte-order mark is an unassigned character - to be treated like regular character, according to question
    e += test_read(2, { 0xFF, 0xFE }, 0xfffe);
    e += test_read(3, { 0xFE, 0xFF }, 0xfffe);

    // UTF-32
    e += test_read(4, { 0, 0, 0, 1 }, 1);
    e += test_read(4, { 1, 0, 0, 0 }, FAIL);
    e += test_write(4, 1, { 0, 0, 0, 1 });
    e += test_write(4, 0x10203, { 0, 1, 2, 3 });

    // UTF-32LE
    e += test_read(6, { 0, 0, 0, 1 }, FAIL);
    e += test_read(6, { 1, 0, 0, 0 }, 1);

    // UTF-32 byte-order mark
    e += test_read(4, { 0, 0, 0xFE, 0xFF,  0, 0, 0, 1 }, 1); // byte-order mark
    e += test_read(4, { 0xFF, 0xFE, 0, 0,  1, 0, 0, 0 }, 1); // reversed byte-order mark
    // disallowed byte-order marks
    e += test_read(5, { 0, 0, 0xFE, 0xFF }, FAIL);
    e += test_read(5, { 0xFF, 0xFE, 0, 0 }, FAIL);
    e += test_read(6, { 0, 0, 0xFE, 0xFF }, FAIL);
    e += test_read(6, { 0xFF, 0xFE, 0, 0 }, FAIL);

    e += test_transcode(1, { 1, 2, 0xFE, 0xFF, 0, 0 }, // That's not a BOM; it's a zwnj when not the first char
                        1, { 1, 2, 0xFE, 0xFF, 0, 0 });
    e += test_transcode(1, { 0xFF, 0xFE, 1, 2, 0, 0 }, // reversed byte-order mark implies little-endian
                        1, { 2, 1, 0, 0 });
    e += test_transcode(4, { 0xFF, 0xFE, 0, 0, 1, 2, 0, 0, 0, 0 }, // reversed BOM means little-endian
                        4, { 0, 0, 2, 1, 0, 0, 0, 0 });
    e += test_transcode(1, { 0xdb, 0xff, 0xdf, 0xff, 0, 0 }, // U+10ffff UTF-16 to UTF-8
                        0, { 0xf4, 0x8f, 191, 191, 0 });

    return e;
}

Dang .. C ++이 Python을 이겼습니다.
TickTock

5

파이썬-1367 UTF-8 문자

좋구나! 모든 사양을 이해하고 구현하는 데 많은 양의 작업이 있었기 때문에 이것은 매우 어려운 질문이었습니다. 그러나 올바른 구현이 있다고 생각합니다.

O,P,Q,R=65536,128,b'\xff\xfe\x00\x00',63
def A(x,y):assert x;return y
def B(x):
    o,c=[],0
    for b in x:
        if c:c,v=c-1,A(127<b<192,v<<6)|(b-P)
        else:
            c,v=(b>127)+(b>223)+(b>239),b
            if b>127:v=A(191<b<248,b&(R>>c))
        o+=[v][c:]
    return o[o[0]in(65279,O-2):]
def C(k):
    def o(x,s=None):
        for a,b in zip(x[k::2],x[1-k::2]):
            d=a|(b<<8)
            if s!=None:yield(A(56319<d<57344,d-56320)|(s<<10))+O;s=None
            elif 55295<d<57344:s=A(s<1024,d-55296)
            else:yield d
    return o
def D(x):n=(2,3,1)[[Q[:2],Q[1::-1],x[:2]].index(x[:2])];return C(n&1)(x[n&2:])
E=lambda a,b,c,d:lambda x:[L|(l<<8)|(m<<16) for L,l,m in zip(x[a::4],x[b::4],x[c::4])]
def F(x):n,m=((1,4),(-1,4),(-1,0))[[Q,Q[::-1],x[:4]].index(x[:4])];return E(*range(4)[::n])(x[m:])
S=lambda x,s=0,a=255:(x>>s)&a
G=lambda e:(e,)if e<P else(192|S(e,6),P|(e&R))if e<2048 else(224|S(e,12),P|S(e,6,R),P|(e&R))if e<O else(240|S(e,18),P|S(e,12,R),P|S(e,6,R),P|(e&R))
H=lambda e:(S(e,8),S(e))if e<O else(216|S(e-O,18),S(e-O,10),220+S((e-O)&1023,8),S(e-O))
I=lambda e:(S(e),S(e,8))if e<O else(S(e-O,10),216|S(e-O,18),S(e-O),220+S((e-O)&1023,8))
J=lambda e:(S(e,24),S(e,16),S(e,8),S(e))
K=lambda e:(S(e),S(e,8),S(e,16),S(e,24))
convert=lambda d,i,o:bytes(sum(map(L[o],N(list(M[i](d)))),()))if d else d
L,M=[G,H,H,I,J,J,K],[B,D,C(1),C(0),F,E(3,2,1,0),E(0,1,2,3)]
N=lambda d:[A(-1<x<1114112 and x&~2047!=55296,x)for x in d]

convert데이터 '바이트'개체, 입력 ID 및 출력 ID를 취하는 함수입니다. 파이썬에서 인코딩을 지정하지 않으면 BOM 사용이 약간 깨진 것처럼 보이지만 파이썬의 내장 인코딩을 사용하여 모드 1 및 4를 테스트하면 작동하지 않습니다.

재미있는 사실 : 크기는 555 16 또는 10101010101 2 입니다.

디코딩 용 773 자, 인코딩 용 452 자, 확인 용 59, 기타 부품 용 83 자


@TrangOul : 일반적으로 언어 태그와 같은 사소한 편집 내용은 눈살을 찌푸립니다.
Zach Gates


해당 질문 / 답변에는 커뮤니티 합의가 표시되지 않습니다. 네트워크 전체에서 이와 같은 사소한 편집 내용은 눈살을 찌푸립니다. <1000 또는> 1000 담당자는 내용이나 형식을 명확하게 개선하지 않는 한 편집하지 않아야합니다. 언어 태그, 단일 단어 수정 / 변경 등과 같은 항목을 편집하는 것이 가장 좋습니다. @cat
Zach Gates

크기가 더 이상 0x555가 아니라고 생각합니다 .- (. 그러나 들여 쓰기를 위해 한 공간을 사용하는 표준 Python-golf 팁을 사용하면 더 가까워 질 수 있습니다.
Toby Speight

@TobySpeight 지금 0x557입니다. 맞습니다. 실제로 탭을 사용하여 게시를 위해 공백으로 변환해야했지만 여전히 하나의 문자로 계산됩니다. 기회가 생기면 다른 캐릭터를 다른 방법으로 면도 할 수 있는지 살펴 보겠습니다.
Cel Skeggs 2016 년

4

Python 3, 1138 바이트 (UTF-8)

14 시간의 국제 여행은 골프 도전을 끝내는 환상적인 기회 라는 것이 밝혀졌습니다 .

변환 기능은 C()입니다. 이 전화 u(), v()그리고 w()에 디코드하고 U(), V()W()인코딩, UTF-8, 각각 -16과 -32. 어떤 인코더도 BOM을 출력하지 않지만 모든 디코더는 하나를 올바르게 처리합니다. 오류 조건으로 인해 예외가 발생합니다 (일반적으로 ZeroDivisionError"갑자기"기능으로 E()).

from struct import*
l=len
j=''.join
b=lambda c:[*bin(c)[2:]]
P,Q,i,o,z,Z='HI10><'
B=65279
O,F,H,L,X=1024,65536,55296,56320,57344
E=lambda:1/0
R=lambda y,e,c,n:unpack(([[z,Z][y[:n]==pack(Z+c,B)],e][l(e)])+c*(l(y)//n),y)
S=lambda d,e:B!=d[0]and d or e and E()or d[1:]
def u(y,d=(),p=0):
 while p<l(y):
  q=b(y[p])
  if l(q)>7:
   x=q.index(o);C=1<x<5and q[x+1:]or E();X=x+p;X>l(y)>E();p+=1
   while p<X:q=b(y[p]);C=l(q)>7and(i,o==q[:2])and(*C,*q[2:])or E();p+=1
   d=*d,int(j(C),2)
  else:d=*d,y[p];p+=1
 return S(d,0)
def T(p):
 q=b(p);C=()
 while l(q)not in(7,11,16,21):q=o,*q
 while l(q)>6:C=int(i+o+j(q[-6:]),2),*C;q=q[:-6]
 return bytes(p<128and[p]or[int(i*(7-l(q))+o+j(q),2),*C])
U=lambda c:b''.join(map(T,c))
def v(y,e=''):
 c=R(y,e,P,2);d=[];n=0
 while n<l(c)-1:h,a=c[n:n+2];D=[(h,a),(F+(h-H)*O+a-L,)][H<=h<L<=a<X];M=3-l(D);n+=M;d+=D[:M]
 if n<l(c):d=*d,c[n]
 return S(d,e)
V=lambda c,e=z:W(sum(map(lambda p:([H+(p-F)//O,L+(p-F)%O],[p])[p<F],c),[]),e,P)
w=lambda y,e='':S(R(y,e,Q,4),e)
W=lambda c,e=z,C=Q:pack(e+C*l(c),*c)
K=(u,U),(v,V),(v,V,z),(v,V,Z),(w,W),(w,W,z),(w,W,Z)
def C(y,f,t):f,_,*a=K[f];_,t,*b=K[t];return t(f(y,*a),*b)
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.