Python에서 검색된 SQL Server VARCHAR 열의 인코딩 문제

최근 SQL Server에서 varchar (120)로 저장되는 필드와 관련된 인코딩 문제가있었습니다. SSMS에서 varchar는 다음과 같이 나타납니다.

"누가 JonBen을 죽였습니까?"

그러나 파이썬으로 가져 오면 다음과 같이 나타납니다.

나는 이것을 파이썬 측에서 연구했으며 이상한 일이 일어나지 않습니다. 내 이론은 SQL Server의 varchar가 SSMS와 다르게 파이썬으로 표시되는 UTF-8 문자를 허용한다는 것입니다. SQL Server의 인코딩에 익숙하지 않습니다. 누군가 다음을 알려주십시오.

• SSMS에서 varchar의 인코딩을 보는 방법이 있습니까? 예를 들어 현재 SSMS에서 쉼표를 표시하는 대신 \ x82를 참조하십시오.
• SQL Server 2008을 사용하고 있습니다. 가져 오기 / 내보내기 도구를 사용하거나 플랫 파일로 덤프하지 않고 UTF-8 문자의 인코딩을 ASCII 문자로 변경하는 방법이 있습니까? 즉, 쿼리를 통해이 변환을 수행 할 수 있습니까?
• 쿼리를 통해 문제가있는 레코드를 프로그래밍 방식으로 식별 할 수있는 방법이 있습니까 (ASCII를 통해 지원되지 않는 UTF-8 문자로 정의되는 문제)?

미리 감사드립니다!

사용 sp_help N'table_name';나는이의 정렬 발견 VARCHAR열은 다음과 같습니다 SQL_Latin1_General_CP1_CI_AS.

SQL Server는 어떤 상황에서도 UTF-8을 저장하지 않습니다. 을 통해 NVARCHAR( NCHAR및 포함 NTEXT하지만 사용하지는 않음 )을 통해 UTF-16 Little Endian (LE) NTEXT및 XML코드 페이지를 기반으로 VARCHAR( CHAR및 포함 TEXT하지만 사용하지는 않음 TEXT) 8 비트 인코딩을 얻 습니다. .

여기서 문제는 코드가 UTF-8이라고 생각하면서 0x82 문자를 잘못 번역하고 있지만 그렇지 않다는 것입니다. 값이 0x82 인 UTF-8 "문자"는 없으므로 "알 수 없음"/ 대체 기호 " "가 표시됩니다. 1 바이트 0x82의 문자가 없음을 보여주는 다음 UTF-8 테이블을 참조하십시오.

UTF-8 인코딩 테이블

OP에 명시된 바와 같이, 해당 열의 데이터 정렬은입니다. SQL_Latin1_General_CP1_CI_AS즉, 8 비트 인코딩은 Windows Latin 1 (ANSI) 인 코드 페이지 1252를 사용하고 있습니다. 그리고 해당 차트를 확인하면 (문자 이름이 있으므로 맨 아래 차트까지 아래로 스크롤) 값 0x82 ( "코드 포인트"열에서 "82"찾기)는 실제로 SSMS에 표시 되는 단일 낮은 따옴표 입니다. UTF-8의 해당 문자는 3 바이트 시퀀스 E2 80 9A입니다.

이 수단의 모든 의미 : 코드 페이지 1252에 SQL Server 연결을위한 클라이언트 인코딩 중 하나 세트 파이썬 코드를 요구하거나 / 변경해야 반환 된 문자열의 인코딩을 변환 에서 코드 페이지 1252 에 UTF-8.

물론 이것이 웹 페이지에 표시되는 경우 선언 된 페이지의 문자 집합을로 변경할 수Windows-1252 있지만 UTF-8 문자가 이미있는 경우 페이지의 다른 문자를 방해 할 수 있습니다.