유닉스 커맨드 라인이나 쉘 스크립트에서 텍스트 파일의 라인을 섞는 방법은 무엇입니까?

텍스트 파일의 줄을 무작위로 섞고 새 파일을 만들고 싶습니다. 파일에는 수천 줄이있을 수 있습니다.

어떻게 함께 그렇게 할 수 cat, awk, cut, 등?

사용할 수 있습니다 shuf. 적어도 일부 시스템에서는 (POSIX에없는 것으로 보입니다).

jleedev가 지적했듯이 : sort -R옵션 일 수도 있습니다. 일부 시스템에서는 최소한; 글쎄, 당신은 사진을 얻을. 실제로 섞는 것이 아니라 해시 값에 따라 항목을 정렬 하는 것으로 나타났습니다sort -R .

^{[편집자 주 : 중복 줄 / 정렬 키가 항상 서로 옆에 있다는 점을 제외하고는 sort -R 거의 섞 습니다 . 다시 말해, 고유 한 입력 라인 / 키만 있으면 진정한 셔플입니다. 출력 순서가 해시 값에 의해 결정되는 것은 사실이지만 , 임의성은 임의 해시 함수 를 선택하여 비롯됩니다 . 설명서를 참조하십시오 .]}

Perl one-liner는 Maxim 솔루션의 간단한 버전입니다.

perl -MList::Util=shuffle -e 'print shuffle(<STDIN>);' < myfile

이 답변은 다음과 같은 방식으로 기존의 많은 훌륭한 답변을 보완합니다.

• 기존 답변은 유연한 쉘 함수 로 패키지됩니다 .

  • 함수 는 stdin입력뿐만 아니라 파일 이름 인수도 사용합니다.
  • 이 함수 는SIGPIPE141 노이즈를 제거하는 것과는 달리 일반적인 방법 으로 처리하기 위해 추가 단계를 수행합니다 (종료 코드로 조용한 종료 ). 이것은 배관을 할 때와 같이 일찍 닫힌 파이프로 기능 출력을 배관 할 때 중요합니다 head.

• 성능을 비교 한다.

• POSIX 호환 기능을 기반으로 awk, sort그리고cut 는에서 적응 OP 자신의 대답 :

shuf() { awk 'BEGIN {srand(); OFMT="%.17f"} {print rand(), $0}' "$@" |
               sort -k1,1n | cut -d ' ' -f2-; }

• 펄 기반 기능- 강문영의 답변 에서 채택 :

shuf() { perl -MList::Util=shuffle -e 'print shuffle(<>);' "$@"; }

• scai의 답변 에서 채택한 Python 기반 함수 :

shuf() { python -c '
import sys, random, fileinput; from signal import signal, SIGPIPE, SIG_DFL;    
signal(SIGPIPE, SIG_DFL); lines=[line for line in fileinput.input()];   
random.shuffle(lines); sys.stdout.write("".join(lines))
' "$@"; }

^{이 기능 의 Windows 버전은 하단 섹션을 참조하십시오 .}

• hoffmanc의 답변 에서 채택한 Ruby 기반 기능 :

shuf() { ruby -e 'Signal.trap("SIGPIPE", "SYSTEM_DEFAULT");
                     puts ARGF.readlines.shuffle' "$@"; }

성능 비교 :

참고 :이 수치는 OSX 10.10.3을 실행하는 3.2GHz Intel Core i5 및 Fusion Drive가 장착 된 2012 년 말 iMac에서 구했습니다. 타이밍은 사용 된 OS, 기계 사양, awk사용 된 구현 (예 : awkOSX에서 사용되는 BSD 버전이 일반적으로 GNU보다 느리고 awk특히 mawk)에 따라 달라질 수 있지만 , 이는 상대적 성능에 대한 일반적인 의미를 제공해야합니다 .

입력 파일은로 만든 1 백만 줄 파일 입니다 seq -f 'line %.0f' 1000000.
시간은 오름차순으로 나열됩니다 (가장 빠른 것부터).

• shuf
  • 0.090s
• 루비 2.0.0
  • 0.289s
• 펄 5.18.2
  • 0.589s
• 파이썬
  • 1.342s파이썬 2.7.6; 2.407s파이썬 3.4.2에서 (!)
• awk+ sort+cut
  • 3.003sBSD와 함께 awk; 2.388sGNU awk(4.1.1) 와 함께 ; 1.811s와 mawk(1.3.4);

추가 비교를 위해 위의 기능으로 패키지화되지 않은 솔루션 :

• sort -R (중복 입력 라인이있는 경우 진정한 셔플이 아닙니다)
  • 10.661s -더 많은 메모리를 할당해도 차이가없는 것 같습니다
• 스칼라
  • 24.229s
• bash 루프 + sort
  • 32.593s

결론 :

• 사용은 shuf, 당신이 할 수있는 경우 - 그것은 지금까지 가장 빠른입니다.
• 루비는 물론, 다음 않습니다 펄 .
• 파이썬 은 루비와 펄보다 눈에 띄게 느리고, 파이썬 버전을 비교하면 2.7.6은 3.4.1보다 약간 빠릅니다.
• POSIX 호환 awk+ sort+ cut콤보를 최후의 수단으로 사용하십시오 . 어떤 awk구현을 사용 하는지 중요합니다 ( mawkGNU보다 빠르며 awkBSD awk가 가장 느립니다).
• 멀리 sort -R, bash루프 및 스칼라.

Windows 버전의 Python 솔루션 (Python 코드는 Windows에서 지원되지 않는 신호 관련 명령문의 인용 및 변형을 제외하고는 동일합니다) :

• PowerShell의 경우 (Windows PowerShell의 $OutputEncoding경우 파이프 라인을 통해 비 ASCII 문자를 보내려면 조정 해야 함) :

# Call as `shuf someFile.txt` or `Get-Content someFile.txt | shuf`
function shuf {
  $Input | python -c @'
import sys, random, fileinput;
lines=[line for line in fileinput.input()];
random.shuffle(lines); sys.stdout.write(''.join(lines))
'@ $args  
}

PowerShell은 기본적으로 Get-Randomcmdlet을 통해 섞을 수 있습니다 (성능에 문제가있을 수 있음). 예 :
Get-Content someFile.txt | Get-Random -Count ([int]::MaxValue)

• 대한 cmd.exe(배치 파일) :

파일에 저장하십시오 ( shuf.cmd예 :

@echo off
python -c "import sys, random, fileinput; lines=[line for line in fileinput.input()]; random.shuffle(lines); sys.stdout.write(''.join(lines))" %*

나는 "정렬하지 않은"작은 펄 스크립트를 사용한다 :

#!/usr/bin/perl
use List::Util 'shuffle';
@list = <STDIN>;
print shuffle(@list);

또한 "unsort0"이라는 NULL로 구분 된 버전이 있는데 find -print0 등에 사용하기 편리합니다.

추신 : 'shuf'도 투표했습니다. 요즘 coreutils에 있는지 전혀 몰랐습니다 ... 시스템에 'shuf'가 없으면 위의 내용이 여전히 유용 할 수 있습니다.

다음은 코더에서는 쉽지만 각 줄에 난수를 추가하고 정렬 한 다음 각 줄에서 난수를 제거하는 CPU에서는 어려운 첫 번째 시도입니다. 실제로 선은 무작위로 정렬됩니다.

cat myfile | awk 'BEGIN{srand();}{print rand()"\t"$0}' | sort -k1 -n | cut -f2- > myfile.shuffled

여기 awk 스크립트가 있습니다

awk 'BEGIN{srand() }
{ lines[++d]=$0 }
END{
    while (1){
    if (e==d) {break}
        RANDOM = int(1 + rand() * d)
        if ( RANDOM in lines  ){
            print lines[RANDOM]
            delete lines[RANDOM]
            ++e
        }
    }
}' file

산출

$ cat file
1
2
3
4
5
6
7
8
9
10

$ ./shell.sh
7
5
10
9
6
8
2
1
3
4

파이썬을위한 하나의 라이너 :

python -c "import random, sys; lines = open(sys.argv[1]).readlines(); random.shuffle(lines); print ''.join(lines)," myFile

그리고 하나의 임의의 줄만 인쇄하려면 다음을 수행하십시오.

python -c "import random, sys; print random.choice(open(sys.argv[1]).readlines())," myFile

그러나 파이썬의 단점에 대해서는 이 게시물 을 참조하십시오 random.shuffle(). 많은 (2080 개 이상의) 요소에서는 잘 작동하지 않습니다.

간단한 awk 기반 함수가 작업을 수행합니다.

shuffle() { 
    awk 'BEGIN{srand();} {printf "%06d %s\n", rand()*1000000, $0;}' | sort -n | cut -c8-
}

용법:

any_command | shuffle

이것은 거의 모든 UNIX에서 작동합니다. Linux, Solaris 및 HP-UX에서 테스트되었습니다.

최신 정보:

선행 제로 ( %06d) 및 rand()곱셈은 sort숫자를 이해하지 못하는 시스템에서도 올바르게 작동 합니다. 사전 식 순서 (일명 일반 문자열 비교)를 통해 정렬 할 수 있습니다.

루비 FTW :

ls | ruby -e 'puts STDIN.readlines.shuffle'

scai의 답변을 기반으로 한 Python 용 라이너 하나 이지만 a) stdin을 사용하고 b) seed로 결과를 반복 가능하게 만듭니다 .c) 모든 행 중 200 개만 선택합니다.

$ cat file | python -c "import random, sys; 
  random.seed(100); print ''.join(random.sample(sys.stdin.readlines(), 200))," \
  > 200lines.txt

간단하고 직관적 인 방법은 사용하는 것 shuf입니다.

예:

다음 words.txt과 같이 가정하십시오 .

the
an
linux
ubuntu
life
good
breeze

라인을 섞으려면 다음을 수행하십시오.

$ shuf words.txt

셔플 된 라인을 표준 출력으로 던집니다 . 따라서 다음 과 같은 출력 파일 로 파이프 해야합니다 .

$ shuf words.txt > shuffled_words.txt

이러한 셔플 실행 중 하나 가 발생할 수 있습니다.

breeze
the
linux
an
ubuntu
good
life

우리는 그 일을하기위한 패키지를 가지고 있습니다 :

sudo apt-get install randomize-lines

예:

순서가 지정된 숫자 목록을 만들어 1000.txt에 저장하십시오.

seq 1000 > 1000.txt

셔플하려면 간단히

rl 1000.txt

이것은 내 홈 폴더에 rand.py로 저장 한 파이썬 스크립트입니다.

#!/bin/python

import sys
import random

if __name__ == '__main__':
  with open(sys.argv[1], 'r') as f:
    flist = f.readlines()
    random.shuffle(flist)

    for line in flist:
      print line.strip()

맥 OSX에 sort -R와 shuf당신이 같은 bash_profile이 별칭을 할 수 있도록 사용할 수 없습니다 :

alias shuf='python rand.py'

나처럼 당신이 여기 shufmacOS 에 대한 대안을 찾기 위해 온 다면를 사용하십시오 randomize-lines.

기능이 유사한 명령 randomize-lines이있는 (homebrew) 패키지를 설치하십시오 .rlshuf

brew install randomize-lines

Usage: rl [OPTION]... [FILE]...
Randomize the lines of a file (or stdin).

  -c, --count=N  select N lines from the file
  -r, --reselect lines may be selected multiple times
  -o, --output=FILE
                 send output to file
  -d, --delimiter=DELIM
                 specify line delimiter (one character)
  -0, --null     set line delimiter to null character
                 (useful with find -print0)
  -n, --line-number
                 print line number with output lines
  -q, --quiet, --silent
                 do not output any errors or warnings
  -h, --help     display this help and exit
  -V, --version  output version information and exit

스칼라를 설치 한 경우 입력을 섞을 수있는 1 개의 라이너가 있습니다.

ls -1 | scala -e 'for (l <- util.Random.shuffle(io.Source.stdin.getLines.toList)) println(l)'

이 bash 함수는 최소한의 의존성을 갖습니다 (정렬과 bash 만).

shuf() {
while read -r x;do
    echo $RANDOM$'\x1f'$x
done | sort |
while IFS=$'\x1f' read -r x y;do
    echo $y
done
}

Windows 에서이 배치 파일 을 사용하여 data.txt를 섞을 수 있습니다. 배치 코드 사용법은 다음과 같습니다.

C:\> type list.txt | shuffle.bat > maclist_temp.txt

이 명령을 실행하면 maclist_temp.txt에 무작위 행 목록이 포함됩니다.

도움이 되었기를 바랍니다.

아직 언급되지 않은 내용 :

1. unsortUTIL. 구문 (일부 재생 목록 중심) :

   unsort [-hvrpncmMsz0l] [--help] [--version] [--random] [--heuristic]
          [--identity] [--filenames[=profile]] [--separator sep] [--concatenate] 
          [--merge] [--merge-random] [--seed integer] [--zero-terminated] [--null] 
          [--linefeed] [file ...]

2. msort 한 줄씩 섞을 수 있지만 일반적으로 과잉입니다.

   seq 10 | msort -jq -b -l -n 1 -c r

다른 awk변형 :

#!/usr/bin/awk -f
# usage:
# awk -f randomize_lines.awk lines.txt
# usage after "chmod +x randomize_lines.awk":
# randomize_lines.awk lines.txt

BEGIN {
  FS = "\n";
  srand();
}

{
  lines[ rand()] = $0;
}

END {
  for( k in lines ){
    print lines[k];
  }
}