파일 중간에 특정 줄을 표시하는 빠른 유닉스 명령?

서버와 내 유일한 로그 파일로 문제를 디버깅하려고하면 20GB 로그 파일입니다 (타임 스탬프조차도 없습니다! 사람들은 왜 사용합니까? System.out.println() 이 로깅으로 ?)

grep을 사용하여 347340107 행에서 살펴볼 파일 영역을 찾았습니다.

같은 일을하는 것 외에

head -<$LINENUM + 10> filename | tail -20 

... head로그 파일의 처음 347 백만 행을 읽어야하는 경우 콘솔에 347340100-347340200 행을 덤프하는 빠르고 쉬운 명령이 있습니까?

업데이트 grep이 일치하는 컨텍스트를 인쇄 할 수 있다는 것을 완전히 잊어 버렸습니다 ... 이것은 잘 작동합니다. 감사!

GNU-grep을 사용하면 말할 수 있습니다.

grep --context = 10 ...

줄 번호를 알고 있지만 다른 정보가 없으면 다른 두 가지 해결책을 찾았습니다 .

20 ~ 40 행이 필요하다고 가정하면,

sed -n '20,40p;41q' file_name

또는

awk 'FNR>=20 && FNR<=40' file_name

# print line number 52
sed -n '52p' # method 1
sed '52!d' # method 2
sed '52q;d' # method 3,  efficient on large files 

큰 파일에 효율적인 방법 3

특정 라인을 표시하는 가장 빠른 방법

아니요, 파일은 주소를 지정할 수 없습니다.

텍스트 파일에서 줄 n 의 시작을 찾는 일정한 시간 방법은 없습니다 . 파일을 통해 스트리밍하고 개행을 계산해야합니다.

작업을 수행해야하는 가장 단순하고 빠른 도구를 사용하십시오. 나를 위해, 사용이 head만드는 훨씬 더 의미 grep후자는 방법이 더 복잡하기 때문에. 나는 " grep느리다" 라고 말하는 것이 아니라 실제로는 그렇지 않지만 head이 경우 보다 더 빠르면 놀랄 것 입니다. head기본적으로 버그입니다 .

이건 어떤가요:

tail -n +347340107 filename | head -n 100

나는 그것을 테스트하지 않았지만 그것이 효과가 있다고 생각합니다.

난 그냥 들어가 선호 less하고

• 입력 50%하여 파일의 중간으로 이동
• 43210G 43210 행으로 이동
• :43210 똑같이

그런 것들.

더 좋은 방법 : v해당 위치에서 편집을 시작하십시오 (vim에서!). 이제 vim동일한 키 바인딩이 있습니다.

먼저 파일을 이처럼 몇 개의 작은 파일로 분할했습니다

$ split --lines=50000 /path/to/large/file /path/to/output/file/prefix

그런 다음 결과 파일을 grep하십시오.

다음 ex과 같은 표준 Unix 편집기 (현재 Vim의 일부) 인 명령을 사용할 수 있습니다.

• 단일 행을 표시합니다 (예 : 두 번째 행).

  ex +2p -scq file.txt

  해당 sed 구문 : sed -n '2p' file.txt

• 라인 범위 (예 : 2-5 라인) :

  ex +2,5p -scq file.txt

  sed 구문 : sed -n '2,5p' file.txt

• 주어진 줄부터 끝까지 (예 : 파일의 5 번째 끝까지) :

  ex +5,p -scq file.txt

  sed 구문 : sed -n '2,$p' file.txt

• 여러 줄 범위 (예 : 2-4 및 6-8 줄) :

  ex +2,4p +6,8p -scq file.txt

  sed 구문 : sed -n '2,4p;6,8p' file.txt

위의 명령은 다음 테스트 파일로 테스트 할 수 있습니다.

seq 1 20 > file.txt

설명:

• + 또는 -c 명령 뒤에-파일을 읽은 후 (vi / vim) 명령을 실행하십시오.
• -s -자동 모드, 현재 터미널을 기본 출력으로 사용
• q다음 -c은 편집기를 종료하는 명령입니다 ( !예 : 강제 종료를 위해 추가 -scq!) ( 예 :) .

행 번호를 100으로 읽는 경우

head -100 filename | tail -1

가져 오기 ack

우분투 / 데비안 설치 :

$ sudo apt-get install ack-grep

그런 다음 다음을 실행하십시오.

$ ack --lines=$START-$END filename

예:

$ ack --lines=10-20 filename

보낸 사람 $ man ack:

--lines=NUM
    Only print line NUM of each file. Multiple lines can be given with multiple --lines options or as a comma separated list (--lines=3,5,7). --lines=4-7 also works. 
    The lines are always output in ascending order, no matter the order given on the command line.

sed는 행을 계산하기 위해 데이터를 읽어야합니다. 바로 가기가 가능한 유일한 방법은 파일에서 컨텍스트 / 순서가 작동하는 것입니다. 예를 들어 고정 너비 시간 / 날짜 등이 추가 된 로그 라인이있는 경우 look unix 유틸리티를 사용하여 특정 날짜 / 시간에 대한 파일을 이진 검색 할 수 있습니다.

사용하다

x=`cat -n <file> | grep <match> | awk '{print $1}'`

일치하는 줄 번호를 얻을 수 있습니다.

이제 다음 명령을 사용하여 100 줄을 인쇄 할 수 있습니다

awk -v var="$x" 'NR>=var && NR<=var+100{print}' <file>

또는 "sed"도 사용할 수 있습니다

sed -n "${x},${x+100}p" <file>

으로 sed -e '1,N d; M q'당신이 라인을 인쇄 할 수 있습니다 M.이를 통해 N + 1은 아마 조금 더 나은 다음이다 grep -C그것은 패턴 라인을 일치하려고하지 않는 한.

Sklivvz의 답변을 바탕으로 .bash_aliases파일에 넣을 수있는 멋진 기능이 있습니다. 파일 앞에서 인쇄 할 때 대용량 파일에 효율적입니다.

function middle()
{
    startidx=$1
    len=$2
    endidx=$(($startidx+$len))
    filename=$3

    awk "FNR>=${startidx} && FNR<=${endidx} { print NR\" \"\$0 }; FNR>${endidx} { print \"END HERE\"; exit }" $filename
}

A로부터 선 표시하려면 <textfile>해당로를 <line#>, 다만이 작업을 수행 :

perl -wne 'print if $. == <line#>' <textfile>

정규 표현식으로 여러 줄을 표시하는 더 강력한 방법을 원한다면 grep이 왜 그렇게 나쁜 생각인지 말하지 않을 것입니다.이 간단한 표현은 당신에게 범위를 보여줍니다. ~ 20GB 텍스트 파일을 처리 할 때 원하는 단일 패스 :

perl -wne 'print if m/<regex1>/ .. m/<regex2>/' <filename>

(팁 : 정규 표현식에 포함 /된 경우 m!<regex>!대신 비슷한 것을 사용하십시오)

<filename>일치하는 줄 <regex1>까지 일치하는 줄부터 시작하여 일치하는 줄을 포함하여 인쇄합니다 <regex2>.

몇 번의 조정만으로 더 강력한 기능을 만드는 방법을 알아 보려면 마법사가 필요하지 않습니다.

마지막으로 : 펄 (Perl)은 성숙한 언어이기 때문에 속도와 성능을 높이기 위해 많은 숨겨진 향상 기능이 있습니다. 이를 염두에두고 원래 큰 로그 파일, 텍스트, 데이터베이스 등을 처리하기 위해 개발되었으므로 이러한 작업을위한 확실한 선택입니다.

이 명령을 시도해 볼 수 있습니다.

egrep -n "*" <filename> | egrep "<line number>"

펄로 쉽게! 파일에서 1, 3, 5 행을 가져 오려면 / etc / passwd라고 말하십시오.

perl -e 'while(<>){if(++$l~~[1,3,5]){print}}' < /etc/passwd

Ramana Reddy의 다른 답변 만 출력에 줄 번호를 추가 할 것을 제안했습니다. 다음은 필요한 줄 번호를 검색하고 출력 색상을 지정합니다.

file=FILE
lineno=LINENO
wb="107"; bf="30;1"; rb="101"; yb="103"
cat -n ${file} | { GREP_COLORS="se=${wb};${bf}:cx=${wb};${bf}:ms=${rb};${bf}:sl=${yb};${bf}" grep --color -C 10 "^[[:space:]]\\+${lineno}[[:space:]]"; }