거대한 파일의 시작과 끝에 줄 추가

거대한 파일의 시작과 끝에 줄을 추가하는 시나리오가 있습니다.

아래에 표시된 것처럼 시도했습니다.

• 첫 줄 :

  sed -i '1i\'"$FirstLine" $Filename

• 마지막 줄 :

  sed -i '$ a\'"$Lastline" $Filename  

그러나이 명령의 문제점은 파일의 첫 번째 행을 추가하고 전체 파일을 순회한다는 것입니다. 마지막 줄의 경우 전체 파일을 다시 탐색하고 마지막 줄을 추가합니다. 매우 큰 파일 (14GB) 이후 시간이 오래 걸립니다.

파일을 한 번만 읽는 동안 파일의 시작 부분과 끝 부분에 줄을 추가하려면 어떻게해야합니까?

sed -itempfile을 구현 세부 사항으로 사용합니다. 그러나 기존 내용을 덮어 쓰지 않고 데이터 스트림의 시작 부분에 데이터를 추가하려면 파일을 다시 써야합니다 sed -i.

파일 재 작성이 옵션이 아닌 경우 파일을 읽을 때 조작하는 것을 고려할 수 있습니다 (예 :

{ echo some prepended text ; cat file ; } | command

또한 sed는 스트림을 편집하기위한 것입니다. 파일은 스트림이 아닙니다. ed 또는 ex와 같이이 목적을위한 프로그램을 사용하십시오. -ised에 대한 옵션은 이식 가능할뿐만 아니라 파일에 대한 심볼릭 링크도 끊습니다. 파일을 삭제하고 다시 생성하기 때문에 무의미합니다.

다음과 ed같이 단일 명령으로이 작업을 수행 할 수 있습니다 .

ed -s file << 'EOF'
0a
prepend these lines
to the beginning
.
$a
append these lines
to the end
.
w
EOF

ed의 구현에 따라 페이징 파일을 사용할 수 있으므로 최소한 사용 가능한 공간이 있어야합니다.

디스크에 파일의 전체 사본을 할당하지 않으려면 다음을 수행하십시오.

sed '
1i\
begin
$a\
end' < file 1<> file

그것은 stdin / stdout이 파일 일 때 sed 블록별로 읽고 쓰는 사실을 사용합니다 . 따라서 여기에서 추가하는 첫 번째 줄이 sed블록 크기 보다 작은 한 (4k 또는 8k와 같아야 함 ) 읽고있는 파일을 무시해도됩니다 .

어떤 이유로 든 sed실패하면 (killed, machine crash ...) 파일이 절반으로 처리되어 중간에 누락 된 첫 번째 줄의 크기를 의미합니다.

또한 sedGNU sed가 아닌 경우 이진 데이터에는 작동하지 않습니다 (그러나 사용하기 때문에 -iGNU sed를 사용하고 있음).

다음은 몇 가지 선택 사항입니다 (모두 파일의 새 사본을 작성하므로 충분한 공간이 있는지 확인하십시오).

• 간단한 에코 / 고양이

  echo "first" > new_file; cat $File >> new_file; \
    echo "last" >> new_file; 

• awk / gawk 등

  gawk 'BEGIN{print "first\n"}{print}END{print "last\n"}' $File > NewFile 

  awk그리고 ilk는 파일을 한 줄씩 읽습니다. BEGIN{}블록은 첫 번째 행과 전에 실행되는 END{}마지막 라인 이후 블록. 따라서 위의 명령은을 의미 print "first" at the beginning, then print every line in the file and print "last" at the end합니다.

• 펄

  perl -ne 'BEGIN{print "first\n"} print;END{print "last\n"}' $File > NewFile

  이것은 본질적으로 Perl로 작성된 위의 gawk와 동일합니다.

나는 훨씬 간단한 것을 선호합니다.

gsed -i '1s/^/foo\n/gm; $s/$/\nbar/gm' filename.txt

파일을 변환합니다.

asdf
qwer

파일에 :

foo
asdf
qwer
bar

Ex 모드에서 Vim을 사용할 수 있습니다 :

ex -sc '1i|ALFA' -c '$a|BRAVO' -cx file

1. 1 첫 줄을 선택하십시오

2. i 텍스트와 개행 삽입

3. $ 마지막 줄을 선택하십시오

4. a 텍스트와 개행 추가

5. x 저장하고 닫습니다

파일 시작 부분에 데이터를 삽입 할 수있는 방법 ¹이 없습니다. 새 파일을 만들고 추가 데이터를 작성하고 이전 데이터를 추가하기 만하면됩니다. 따라서 첫 번째 줄을 삽입하려면 전체 파일을 한 번 이상 다시 작성해야합니다. 그러나 파일을 다시 쓰지 않고 마지막 줄을 추가 할 수 있습니다.

sed -i '1i\'"$FirstLine" $Filename
echo "$LastLine" >>$Filename

또는 두 개의 명령을 한 번의 sed 실행에 결합 할 수 있습니다.

sed -i -e '1i\'"$FirstLine" -e '$ a\'"$Lastline" $Filename

sed -i새 출력 파일을 만든 다음 이전 파일 위로 옮깁니다. 이것은 sed가 작동하는 동안 공간을 차지하는 두 번째 파일 사본이 있음을 의미합니다. 파일을 제자리 에 덮어 써서 이것을 피할 수 있지만 주요 제한 사항이 있습니다. 추가하는 행이 sed의 버퍼보다 ​​작아야합니다. 시스템이 충돌하면 파일이 손상되고 일부 내용이 손실됩니다. 중간에 있으므로 강력히 권장합니다.

¹ _{Linux에는 파일에 데이터를 삽입 할 수있는 방법이 있지만 전체 파일 시스템 블록 만 삽입 할 수 있으며 임의 길이의 문자열을 삽입 할 수 없습니다. 데이터베이스 및 가상 시스템과 같은 일부 응용 프로그램에는 유용하지만 텍스트 파일에는 유용하지 않습니다.}

$ (echo "Some Text" ; cat file1) > file2

최신 Linux 커널 (4.1 또는 4.2 이상)은 fallocate()시스템 시작을 통해 파일 시작 부분에서 데이터 삽입을 지원합니다.FALLOC_FL_INSERT_RANGE 은 ext4 및 xfs 파일 합니다. 본질적으로 이것은 논리적 이동 작업입니다. 데이터는 논리적으로 더 높은 오프셋으로 재배치됩니다.

파일 시작 부분에 삽입하려는 범위의 세분성에 대한 제약 조건이 있습니다. 그러나 텍스트 파일의 경우 필요 이상으로 (세분화 경계까지) 할당하거나 공백 또는 캐리지 리턴을 채울 수 있지만 응용 프로그램에 따라 다릅니다.

파일 범위를 조작하는 쉽게 사용할 수있는 Linux 유틸리티는 모르지만 쓰기는 어렵지 않습니다. 파일 설명자를 가져 와서 fallocate()적절한 인수로 호출 하십시오. 자세한 내용은 fallocate시스템 호출 매뉴얼 페이지를 참조하십시오 : http://man7.org/linux/man-pages/man2/fallocate.2.html