tr이 ASCII가 아닌 (유니 코드) 문자를 인식하게하는 방법은 무엇입니까?

파일 (UTF-8)에서 일부 문자를 제거하려고합니다. tr이 목적으로 사용 하고 있습니다 :

tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat 

파일에는 "Латвийская"또는 "àé"와 같은 일부 외국 문자가 포함되어 있습니다. tr그것들을 이해하지 못하는 것 같습니다 : 알파가 아닌 것으로 취급하고 제거합니다.

로케일 설정 중 일부를 변경하려고했습니다.

LC_CTYPE=C LC_COLLATE=C tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat
LC_CTYPE=ru_RU.UTF-8 LC_COLLATE=C tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat
LC_CTYPE=ru_RU.UTF-8 LC_COLLATE=ru_RU.UTF-8 tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat

불행히도 이들 중 어느 것도 효과가 없었습니다.

tr유니 코드 를 이해하려면 어떻게 해야합니까?

이는 GNU 구현의 알려진 ( 1 , 2 , 3 , 4 , 5 , 6 ) 제한 사항입니다 tr.

이 정도는 지원하지 않는 아니라 외국 , 영어 이외의 언어 또는 비 ASCII 문자를하지만 멀티 바이트 문자를 지원하지 않습니다.

이 키릴 문자는 iso8859-5 (문자 당 1 바이트) 문자 세트 (및 로케일이 해당 문자 세트를 사용하고 있음)로 작성된 경우 OK로 취급되지만 ASCII가 아닌 경우 UTF-8을 사용하는 것이 문제입니다. 문자는 2 바이트 이상으로 인코딩됩니다.

GNU의는 가지고 계획 (참조 또한 작업이 진행되고 있지만이 아직 수정을 참조).

FreeBSD 또는 Solaris tr에는 문제가 없습니다.

한편,의 대부분의 경우 tr멀티 바이트 문자를 지원하는 GNU sed 또는 GNU awk를 사용할 수 있습니다.

예를 들어,

tr -cs '[[:alpha:][:space:]]' ' '

쓸 수 있습니다 :

gsed -E 's/( |[^[:space:][:alpha:]])+/ /'

또는:

gawk -v RS='( |[^[:space:][:alpha:]])+' '{printf "%s", sep $0; sep=" "}'

소문자와 대문자를 변환하려면 ( tr '[:upper:]' '[:lower:]') :

gsed 's/[[:upper:]]/\l&/g'

(즉, l소문자 인 L아닌 1숫자).

또는:

gawk '{print tolower($0)}'

이식성을 위해 perl또 다른 대안이 있습니다.

perl -Mopen=locale -pe 's/([^[:space:][:alpha:]]| )+/ /g'
perl -Mopen=locale -pe '$_=lc$_'

데이터가 1 ​​바이트 문자 세트로 표현 될 수 있다는 것을 알고 있으면 해당 문자 세트로 처리 할 수 ​​있습니다.

(export LC_ALL=ru_RU.iso88595
 iconv -f utf-8 |
   tr -cs '[:alpha:][:space:]' ' ' |
   iconv -t utf-8) < Russian-file.utf8