uniq --unique가있을 정도로 어떻게 uniq이 고유하지 않습니까?

pastebin 의 임의 파일에 대한 명령은 다음과 같습니다 .

wget -qO - http://pastebin.com/0cSPs9LR | wc -l
350
wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc -l
258

매뉴얼 페이지는 -u플래그가 수행하는 작업 에 대해 명확하지 않습니다 . 어떤 충고?

짧은 버전 :

• uniq가 없으면 출력의-u 모든 줄 을 고유 하게 만듭니다 .
• uniq -u입력에서 모든 고유 한 행만 인쇄합니다 .

약간 긴 버전 :

uniq행이 복제 된 파일을 처리하기위한 것이며 해당 행이 입력에 연속적으로 나타나는 경우에만 해당됩니다. 따라서 고유 한 행은 즉시 복제되지 않는 행입니다.

( uniq매우 제한된 단기 기억을 가지고, 라인 입력에 앞서 출연 여부는 바로 이전 행이었다 않는 한, 기억하지 않습니다 -이 왜 uniq자주와 결합한다 sort.)

중복 된 행이 발견되면 arg uniq없이 해당 행의 사본 하나를-u 인쇄합니다 . (출력의 모든 줄을 고유 하게 만듭니다 ).

-u인수를 사용하면 해당 행의 사본을 0으로 인쇄 합니다. 중복 된 사본은 출력에서 ​​생략됩니다.

uniqwith -u는 중복 된 행을 건너 뜁니다. 그러므로:

$ printf "%s\n" 1 1 2 3 | uniq
1
2
3
$ printf "%s\n" 1 1 2 3 | uniq -u
2
3

일반적으로 uniq줄을 최대 한 번 인쇄합니다 (정렬 된 입력을 가정). 이 옵션은 실제로 고유 한 행을 인쇄합니다 (다시 나타나지 않음).

uniq POSIX 사양 에 명확하게 설명되어 있습니다.

-u
    Suppress the writing of lines that are repeated in the input.

-u옵션은 uniq반복되는 줄을 인쇄하지 않습니다.

대부분의 uniq구현에서는 바이트 비교를 사용했지만 GNU uniq는 데이터 정렬 순서를 사용하여 중복 된 행을 필터링했습니다. 따라서 로케일과 같은 일부 로케일에서 잘못된 결과를 생성 할 수 있습니다 en_US.UTF-8.

$ printf '%b\n' '\U2460' '\U2461' | uniq
①

그리고 -u당신에게 줄을주지 않았습니다 :

$ printf '%b\n' '\U2460' '\U2461' | uniq -u
<blank>

따라서 C바이트 비교를 받으려면 로케일을 설정해야합니다 .

$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=C uniq
①
②

표준:

echo "a b a b c c c" | tr ' ' '\n'
a
b
a
b
c
c
c

uniq : 두 개의 반복되는 줄이 없음

echo "a b a b c c c" | tr ' ' '\n' | uniq
a
b
a
b
c

정렬

echo "a b a b c c c" | tr ' ' '\n' | sort
a
a
b
b
c
c
c

sort -u : 반복되는 두 줄이 없습니다.

echo "a b a b c c c" | tr ' ' '\n' | sort -u
a
b
c

정렬 / 유니크 : 모두 구별

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq
a
b
c

별개의 사건을 센다

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq -c
2 a
2 b
3 c

반복되지 않는 행만 (먼저 정렬되지 않음)

echo "a b a b c c c" | tr ' ' '\n' | uniq -u
a
b
a
b

반복되지 않은 행만 (정렬 후)

echo "a b a b c c c Z" | tr ' ' '\n' | sort | uniq -u
Z

uniq -d : 각 그룹마다 하나씩 중복 행만 인쇄

echo "a b a b c c c" | tr ' ' '\n' | uniq -d
c

.. 계산

echo "a b a b c c c" | tr ' ' '\n' | uniq -dc
3 c