두 파일에서 공통적 인 행을 찾는 유닉스 명령

한 번 이상 두 개 이상의 파일에서 공통 줄을 인쇄 할 수있는 유닉스 명령을 찾았습니다. 누가 그 이름을 알고 있습니까? 보다 훨씬 간단했다 diff.

당신이 찾고있는 명령은 comm입니다. 예 :-

comm -12 1.sorted.txt 2.sorted.txt

여기:

-1 : 열 1을 숨 깁니다 (1.sorted.txt에 고유 한 행)

-2 : 열 2 억제 (2.sorted.txt에 고유 한 행)

정렬되지 않은 파일에 comm 명령 을 쉽게 적용하려면 Bash의 프로세스 대체를 사용하십시오 .

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

따라서 abc 및 def 파일에는 공통으로 한 줄이 있고 "132"줄이 있습니다. 정렬되지 않은 파일에서 통신 사용 :

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

마지막 라인은 출력을 생성하지 않았으며 공통 라인은 발견되지 않았습니다.

이제 정렬 된 파일에 comm 을 사용 하여 파일을 프로세스 대체로 정렬하십시오.

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

이제 우리는 132 라인을 얻었습니다!

Perl 원 라이너를 보완하기 위해 다음 awk과 같습니다.

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

그러면 모든 줄을 file1배열로 읽어 들인 arr[]다음 각 줄 file2이 이미 배열 내에 있는지 확인합니다 (예 :) file1. 찾은 줄은에 나타난 순서대로 인쇄됩니다 file2. 비교 in arr는 file2색인에서 배열 까지의 전체 행을 사용하므로 전체 행에서 정확히 일치하는 항목 만보고합니다.

아마 당신은 의미 comm합니까?

정렬 된 파일 FILE1과 FILE2를 한 줄씩 비교하십시오.

옵션이 없으면 3 열 출력을 생성합니다. 열 1에는 FILE1에 고유 한 행이 있고 열 2에는 FILE2에 고유 한 행이 있고 열 3에는 두 파일에 공통 인 행이 있습니다.

이러한 정보를 찾는 비결은 정보 페이지입니다. GNU 프로그램의 경우, 맨 페이지보다 훨씬 상세합니다. 시도해 info coreutils보면 작은 유용한 유틸리티가 모두 나열됩니다.

동안

grep -v -f 1.txt 2.txt > 3.txt

두 파일의 차이점을 제공합니다 (1.txt가 아닌 2.txt에 있음).

grep -f 1.txt 2.txt > 3.txt

모든 공통 라인을 수집하여 문제점에 대한 쉬운 솔루션을 제공해야합니다. 파일을 정렬 한 경우에도 가져 가야 comm합니다. 문안 인사!

두 파일이 아직 정렬되지 않은 경우 다음을 사용할 수 있습니다.

comm -12 <(sort a.txt) <(sort b.txt)

comm: file 2 is not in sorted order 할 때 오류 메시지를 피하면서 작동 comm -12 a.txt b.txt합니다.

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

Linux의 제한된 버전 (QNAP (nas)와 같은)은 다음과 같습니다.

• 통신은 존재하지 않았다
• grep -f file1 file2@ChristopherSchultz가 말한 것처럼 일부 문제가 발생할 수 있으며 사용 grep -F -f file1 file2이 실제로 느려졌습니다 (5 분 이상-완료되지 않음-아래 방법으로 20MB가 넘는 파일에서 2-3 초 이상)

그래서 여기 내가 한 일이 있습니다.

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

files.same.sorted원래의 순서와 동일한 순서로되어 있다면 file1과 동일한 순서로이 행을 추가하십시오.

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

또는 file2와 동일한 순서로 :

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

누군가가 여러 파일에 대해이 작업을 수행하는 방법을 계속 찾고 있다면 많은 파일에서 일치하는 줄 찾기에 대한 링크 된 답변을 참조하십시오 .

이 두 가지 답변 ( ans1 과 ans2 )을 결합 하면 파일을 정렬하지 않고도 필요한 결과를 얻을 수 있다고 생각합니다.

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

간단히 저장하고 실행 권한을 부여하고 ( chmod +x compareFiles.sh) 실행하십시오. 현재 작업 디렉토리에있는 모든 파일을 가져 와서 "matching_lines"파일에 결과를 남겨두고 모든 비교를 수행합니다.

개선 사항 :

• 디렉토리 건너 뛰기
• 모든 파일을 두 번 비교하지 마십시오 (file1과 file2 및 file2와 file1).
• 일치하는 문자열 옆에 줄 번호를 추가하십시오.

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

그렇게해야합니다.