내용에서 100 % NUL 문자를 가진 파일을 찾는 방법은 무엇입니까?

그러한 파일을 식별 할 수있는 Linux 명령 행 명령은 무엇입니까?

AFAIK find명령 (또는 grep)은 텍스트 파일 내의 특정 문자열 과 만 일치 할 수 있습니다 . 하지만 즉, 내가 정규 표현식과 일치하는 파일을보고 싶은, 전체 내용과 일치 할 \0+, 라인 끝 문자 (들)을 무시 . 어쩌면 find . cat | grep관용구가 작동 할 수는 있지만 grep 무시 라인을 만드는 방법을 모르고 파일을 이진 파일로 취급합니다.

배경 : 랩탑이 멈출 때마다 btrfs 파티션이 정보를 잃습니다. 쓰기 위해 열린 파일의 내용이 0으로 바뀝니다 (파일의 크기는 그대로 유지됩니다). 동기화를 사용하고 이러한 가짜 파일이 전파되는 것을 원하지 않습니다. 백업에서 파일을 가져올 수 있도록 식별 할 수있는 방법이 필요합니다.

grepPerl 정규식 모드를 사용하여 ␀ 문자를 사용할 수 있습니다 .

$ echo -ne "\0\0" > nul.bin
$ echo -ne "\0x\0" > non-nul.bin
$ grep -P "[^\0]" *.bin
Binary file non-nul.bin matches

그래서 이것을 사용할 수 있습니다 :

for path in *.foo
do
    grep -P "[^\0]" "$path" || echo "$path"
done

D_Bye가 문제의 근본을 찾는 것에 대해 말한 것에 동의합니다.

어쨌든 파일에 포함되어 \0있거나 \n사용할 수 있는지 확인하려면 다음을 수행하십시오 tr.

<file tr -d '\0\n' | wc -c

null / newline 및 빈 파일에 대해 0을 반환합니다.

나는 그 파일이 희소하다고 생각합니다. 즉, 할당 된 디스크 공간이 없으며 파일 크기 만 지정합니다 (du 0을보고합니다).

이 경우 GNU find를 사용하면 다음과 같이 할 수 있습니다 (파일 경로에 줄 바꾸기 문자가 포함되어 있지 않다고 가정).

find . -type f -size +0 -printf '%b:%p\n' | grep '^0:' | cut -d: -f2-

그것을 할 수있는 작은 파이썬 프로그램이 있습니다 :

import sys

def only_contains_nulls(fobj, chunk_size=1024):
    first = True
    while True:
        data = fobj.read(chunk_size)
        if not data:
            if first:
                return 1  # No data
            else:
                return 0
        if data.strip("\0"):
            return 1
        first = False

if __name__ == '__main__':
    with open(sys.argv[1]) as f:
        sys.exit(only_contains_nulls(f))

그리고 실제로 :

$ printf '\0\0\0' > file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Only nulls
$ printf a >> file
$ ./onlynulls file && echo "Only nulls" || echo "Non-null characters"
Non-null characters

당신은 발견의 사용하여 여러 파일을 확인할 수 있습니다 -exec, xargs, GNU parallel및 이와 유사한 프로그램을. 또는 처리해야 할 파일 이름이 인쇄됩니다.

files=( file1 file2 )
for file in "${files[@]}"; do
    ./onlynulls "$file" || printf '%s\n' "$file"
done

이 결과를 다른 프로그램으로 전달하려면 파일 이름에 줄 바꿈이 포함될 수 있으므로 다르게 구분해야합니다 (와 함께 \0).

파일이 많은 경우 한 번에 하나의 파일 만 읽으므로 병렬 처리 옵션을 사용하는 것이 좋습니다.

널 문자 '\ 0'과 개행 문자 '\ n'만 포함 된 파일을 찾으십시오. 에 나오지 원인 각 파일은 행에 null 이외의 문자를 발견 즉시 종료 검색 할 수 있습니다.
q

find -type f -name 'file-*' |
  while IFS= read -r file ;do 
      out=$(sed -n '1=; /^\x00\+$/d; i non-null
                      ; q' "$file")
      [[ $out == "1" ]] &&  echo "$file"
  done

테스트 파일 만들기

> file-empty
printf '%s\n' 'line1' 'line2' 'line3'      > file-with-text           
printf '%4s\n' '' '' xx | sed 's/ /\x00/g' > file-with-text-and-nulls
printf '%4s\n' '' '' '' | sed 's/ /\x00/g' > file-with-nulls-and-newlines
printf '%4s'   '' '' '' | sed 's/ /\x00/g' > file-with-nulls-only

산출

./file-with-nulls-and-newlines
./file-with-nulls-only

이 one-liner는 GNU를 사용하여 100 % NUL 파일을 찾는 가장 효율적인 방법 find이며 xargs, grep후자는 PCRE 지원으로 빌드되었다고 가정합니다.

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -r0 grep -LP "[^\x00]" --

제공된 다른 답변에 비해이 방법의 장점은 다음과 같습니다.

• 스파 스가 아닌 파일이 검색에 포함됩니다.
• 읽을 수없는 파일은 grep으로 전달되지 않으므로 Permission denied경고 가 발생하지 않습니다 .
• grep널이 아닌 바이트를 찾은 후 파일에서 데이터 읽기를 중지합니다 ( LC_ALL=C각 바이트 가 문자 로 해석되도록하는 데 사용됨) ).
• 빈 파일 (0 바이트)은 결과에 포함되지 않습니다.
• 더 적은 grep프로세스가 여러 파일을 효율적으로 확인합니다.
• 개행 문자를 포함하거나로 시작하는 경로 -는 올바르게 처리됩니다.
• Python / Perl이없는 대부분의 임베디드 시스템에서 작동합니다.

-Z옵션을 전달 grep하고 사용 xargs -r0 ...하면 100 % 널 파일에 대해 추가 조치를 수행 할 수 있습니다 (예 : 정리).

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -0 grep -ZLP "[^\x00]" -- |
  xargs -r0 rm --

또한 심볼릭 링크를 따르지 않고 파일 시스템 통과 (예 : 원격 마운트, 장치 트리, 바인드 마운트 등) 를 피하기 위해 find옵션 -P을 사용하는 것이 좋습니다 -xdev.

줄 끝 문자 를 무시하기 위해 다음 변형이 작동해야합니다 (그러나 이것이 좋은 생각은 아닙니다) :

find . -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -r0 grep -LP "[^\x00\r\n]" --

원하지 않는 파일 (100 % 널 / 줄 바꾸기 문자)을 제거하여 파일이 백업되지 않도록하는 것을 포함하여이를 모두 정리하십시오.

find -P . -xdev -type f -size +0 -readable -print0 |
  LC_ALL=C xargs -0 grep -ZLP "[^\x00\r\n]" -- |
  xargs -0 rm --

빈 파일 (0 바이트)을 포함하지 않는 것이 좋습니다. 종종 매우 구체적인 목적으로 존재 합니다 .

GNU sed를 사용하기 위해 -z옵션을 사용할 수 있습니다.이 옵션은 줄을 0으로 끝나는 문자열로 정의하고 빈 줄을 일치시키고 삭제합니다.

if [ "$( sed -z '/^$/d' "$file" | head -c 1 | wc -c )" -eq 0 ]; then
    echo "$file contains only NULL!"
fi

그 사이의 헤드 명령은 최적화 일뿐입니다.

파이썬

단일 파일

별명을 정의하십시오.

alias is_binary="python -c 'import sys; sys.exit(not b\"\x00\" in open(sys.argv[1], \"rb\").read())'"

그것을 테스트하십시오 :

$ is_binary /etc/hosts; echo $?
1
$ is_binary `which which`; echo $?
0

여러 파일

모든 이진 파일을 재귀 적으로 찾기 :

IS_BINARY='import sys; sys.exit(not b"\x00" in open(sys.argv[1], "rb").read())'
find . -type f -exec bash -c "python -c '$IS_BINARY' {} && echo {}" \;

모든 비 바이너리 파일, 변경 찾으려면 &&와를 ||.