독특한 라인 인쇄

sort와 조합이 아닌 고유 한 라인을 인쇄하기위한 더 나은 솔루션이 uniq있습니까?

순서대로 각 동일한 행을 하나만 인쇄하려면 :

sort -u

순서에 상관없이 고유 한 줄만 인쇄하려면

sort | uniq -u

첫 번째 발생 순서대로 각 동일한 행을 한 번만 인쇄하려면 다음을 수행하십시오.

awk '!seen[$0] {print}
     {++seen[$0]}'

고유 한 행만 첫 번째 발생 순서로 인쇄하려면 : (의 각 행을 기록하고 첫 번째 발생 인 경우 seen에도 lines입력하십시오. 한번)

awk '!seen[$0]++ {lines[i++]=$0}
     END {for (i in lines) if (seen[lines[i]]==1) print lines[i]}'

일부 (가장?) 버전 에는 해당 부분을 ​​직접 수행 sort하는 -u플래그가 uniq있습니다. 구현에 따라 일부 선 길이 제한이있을 수 있지만 이미 일반을 사용했습니다 sort|uniq.

펄은 당신을 위해 일합니까? 사본이 인접하지 않더라도 원래 순서대로 행을 유지할 수 있습니다. 파이썬으로 코딩하거나을 (를) 코딩 할 수도 있습니다 awk.

while (<>) {
    print if $lines{$_}++ == 0;
}

그냥 단축 할 수 있습니다

perl -ne 'print unless $lines{$_}++;'

주어진 입력 파일 :

abc
def
abc
ghi
abc
def
abc
ghi
jkl

출력을 산출합니다 :

abc
def
ghi
jkl

이 질문에 대한 답변으로 @Gilles의 고유 행 인쇄에 언급 된 답변의 마지막 부분에 대해 두 개의 해시를 사용할 필요가 없도록했습니다.

이 해결 방법은 다음과 같습니다. 고유 한 행만 첫 번째 순서대로 인쇄합니다.

awk '{counter[$0]++} END {for (line in counter) if (counter[line]==1) print line}'

여기서 "카운터"는 이전에 처리 된 것과 유사한 각 라인의 수를 저장합니다.
마지막으로 카운터 값이 1 인 행만 인쇄합니다.