파일의 모든 줄이 고유한지 확인

다음과 같은 줄을 포함하는 텍스트 파일이 있습니다.

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

모든 라인의 고유성을 어떻게 확신 할 수 있습니까?

참고 : 목표는 중복 행이있는 경우 파일을 수정하지 않고 파일을 테스트하는 것입니다.

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Awk 솔루션 :

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

사용 sort/ uniq:

sort input.txt | uniq

중복 행만 확인하려면 -duniq 옵션을 사용하십시오 . 중복 된 행만 표시되며, 없으면 표시되지 않습니다.

sort input.txt | uniq -d

TLDR

원래 질문은 명확하지 않았으며 OP가 단순히 파일 내용의 고유 버전을 원한다는 것을 읽었습니다. 아래에 나와 있습니다. 업데이트 된 질문 형식에서 OP는 이제 파일의 내용이 고유한지 여부를 단순히 알고 싶다고 말합니다.

파일 내용이 고유한지 테스트

sort파일이 고유하거나 중복이 포함되어 있는지 확인 하는 데 간단히 사용할 수 있습니다 .

$ sort -uC input.txt && echo "unique" || echo "duplicates"

예

이 두 파일이 있다고 가정 해보십시오.

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

이제 이러한 파일을 분석 할 때 파일이 고유하거나 중복이 있는지 확인할 수 있습니다.

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

원문 (파일의 고유 내용)

그냥 할 수 있습니다 sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

나는 일반적 sort으로 파일을 사용 uniq하여 복제 수를 계산하는 데 사용 sort하고 목록의 맨 아래에 복제본이 다시 표시됩니다.

제공 한 예제에 하나의 복제본을 추가했습니다.

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

uniq한동안 매뉴얼 페이지를 읽지 않았으므로 대안을 빠르게 살펴 보았습니다. 다음은 중복 항목을보고 싶다면 두 번째 정렬이 필요하지 않습니다.

$ sort thread.file | uniq -d
This is a thread  139737505302272

중복이 없으면 모든 행이 고유합니다.

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

설명 : 파일 줄을 정렬하여 반복되는 줄을 연속으로 만듭니다 (정렬)
동일한 모든 연속 줄을 추출합니다 (uniq -d).
위의 명령 출력이 있으면 ( [...]), ( &&) 메시지를 인쇄하십시오.

이것은 Perl 답변 없이는 완료되지 않을 것입니다!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

고유하지 않은 각 행을 한 번 인쇄합니다. 아무 것도 인쇄하지 않으면 파일에 고유 한 행이 모두 있습니다.

사용 cmp및 sort에 bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

또는

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

허용 된 답변과 마찬가지로 파일을 두 번 정렬합니다.