아래 bash 스크립트를 구현했는데 저에게 효과적입니다.
먼저 iconv에서 반환 한 인코딩을 시도 file --mime-encoding합니다 utf-8.
실패하면 모든 인코딩을 거치고 원본 파일과 다시 인코딩 된 파일 간의 차이를 보여줍니다. 큰 diff 출력 ( MAX_DIFF_LINES변수 또는 두 번째 입력 인수에 의해 정의 된 "큰")을 생성하는 인코딩을 건너 뜁니다 . 대부분 잘못된 인코딩 일 수 있습니다.
이 스크립트를 사용한 결과로 "나쁜 일"이 발생하더라도 나를 비난하지 마십시오. 거기에 rm -f몬스터가 있습니다. 임의의 접미사가있는 파일에 사용하여 부작용을 방지하려고 노력했지만 약속하지는 않습니다.
다윈 15.6.0에서 테스트되었습니다.
#!/bin/bash
if [[ $# -lt 1 ]]
then
echo "ERROR: need one input argument: file of which the enconding is to be detected."
exit 3
fi
if [ ! -e "$1" ]
then
echo "ERROR: cannot find file '$1'"
exit 3
fi
if [[ $# -ge 2 ]]
then
MAX_DIFF_LINES=$2
else
MAX_DIFF_LINES=10
fi
#try the easy way
ENCOD=$(file --mime-encoding $1 | awk '{print $2}')
#check if this enconding is valid
iconv -f $ENCOD -t utf-8 $1 &> /dev/null
if [ $? -eq 0 ]
then
echo $ENCOD
exit 0
fi
#hard way, need the user to visually check the difference between the original and re-encoded files
for i in $(iconv -l | awk '{print $1}')
do
SINK=$1.$i.$RANDOM
iconv -f $i -t utf-8 $1 2> /dev/null > $SINK
if [ $? -eq 0 ]
then
DIFF=$(diff $1 $SINK)
if [ ! -z "$DIFF" ] && [ $(echo "$DIFF" | wc -l) -le $MAX_DIFF_LINES ]
then
echo "===== $i ====="
echo "$DIFF"
echo "Does that make sense [N/y]"
read $ANSWER
if [ "$ANSWER" == "y" ] || [ "$ANSWER" == "Y" ]
then
echo $i
exit 0
fi
fi
fi
#clean up re-encoded file
rm -f $SINK
done
echo "None of the encondings worked. You're stuck."
exit 3