전체 파일 시스템에서 sed 전체 행 삭제?

아직 진단되지 않은 응용 프로그램 버그로 인해 전체 디스크가있는 수백 대의 서버가 있습니다. 로그 파일이 아니라 변수 정의가있는 사용자 환경 파일이 중복 된 줄로 채워진 파일이 하나 있습니다 (따라서 파일을 삭제할 수는 없습니다).

sed잘못 추가 된 줄을 확인하고 삭제 하는 간단한 명령을 작성 하여 파일의 로컬 사본에서 테스트했습니다. 의도 한대로 작동했습니다.

그러나 전체 디스크가있는 서버에서 시도했을 때 대략 다음과 같은 오류가 발생했습니다 (복사 및 붙여 넣기가 아닌 메모리에서 발생).

sed: couldn't flush /path/to/file/sed8923ABC: No space left on deviceServerHostname

물론 남은 공간이 없다는 것을 알고 있습니다. 내가 물건을 삭제하려고하는 이유입니다! ( sed내가 사용 하는 명령은 4000 + 줄 파일을 약 90 줄로 줄입니다.)

내 sed명령은sed -i '/myregex/d' /path/to/file/filename

전체 디스크에도 불구하고이 명령을 적용 할 수있는 방법이 있습니까?

(수백 대의 서버에 빠른 수정으로 적용해야하므로 자동화해야합니다.)

_{(응용 프로그램 버그를 진단해야하지만 그 동안 서버가 제대로 작동하지 않습니다 ....)}

업데이트 : 내가 직면 한 상황은 내가 삭제할 수 있다는 것을 발견하여 해결되었지만 미래와 다른 사람들에게 도움이 될 이 질문에 대한 답변을 여전히 원합니다 .

/tmp아니고; 동일한 파일 시스템에 있습니다.

디스크 공간을 확보하기 전에 vi파일을 열고 실행 :g/myregex/d하여 변경 내용을 저장하여 줄을 삭제할 수 있음을 테스트하고 확인 했습니다 :wq. 임시 파일을 보유하기 위해 별도의 파일 시스템에 의존하지 않고 이것을 자동화하는 것이 가능해야합니다 .... (?)

이 -i옵션은 실제로 원본 파일을 덮어 쓰지 않습니다. 출력으로 새 파일을 만든 다음 파일 이름을 원래 파일 이름으로 바꿉니다. 이 새 파일을위한 파일 시스템 공간이 없기 때문에 실패합니다.

스크립트에서 직접 수행해야하지만 다른 파일 시스템에서 새 파일을 작성하십시오.

또한 정규 표현식과 일치하는 행을 삭제하는 경우 grep대신 대신 사용할 수 있습니다 sed.

grep -v 'myregex' /path/to/filename > /tmp/filename && mv /tmp/filename /path/to/filename

일반적으로 프로그램이 입력 및 출력과 동일한 파일을 사용하는 것은 거의 불가능합니다. 파일에 쓰기를 시작하자마자 파일에서 읽은 프로그램의 일부는 더 이상 원래 내용을 볼 수 없습니다. 따라서 원본 파일을 먼저 어딘가에 복사하거나 새 파일에 쓰고 완료되면 이름을 바꿔야합니다.

임시 파일을 사용하지 않으려면 파일 내용을 메모리에 캐시하십시오.

file=$(< /path/to/filename)
echo "$file" | grep -v 'myregex' > /path/to/filename

그것이 sed작동 하는 방식입니다. -i(제자리 편집) 과 함께 사용 sed하면 처리 된 파일의 새 내용으로 임시 파일이 작성됩니다. 완료되면 sed현재 작업 파일을 임시 파일로 바꿉니다. 이 유틸리티는 파일 을 제자리에서 편집하지 않습니다 . 그것은 모든 편집자의 행동입니다.

쉘에서 다음 작업을 수행하는 것과 같습니다.

sed 'whatever' file >tmp_file
mv tmp_file file

이 시점 sed에서 fflush()시스템 호출 을 통해 버퍼링 된 데이터를 오류 메시지에 언급 된 파일로 플러시합니다 .

출력 스트림의 경우, fflush()스트림의 기본 쓰기 기능을 통해 지정된 출력 또는 업데이트 스트림에 대해 모든 사용자 공간 버퍼링 된 데이터를 강제로 기록합니다.

문제의 경우 separte 파일 시스템 (예 : tmpfs메모리가 충분한 경우 또는 외부 저장 장치가있는 경우)을 마운트하고 일부 파일을 이동하고 처리 한 다음 다시 이동 시키는 솔루션 이 있습니다.

이 질문을 게시 ex한 후 POSIX 호환 프로그램이라는 것을 알게되었습니다 . 거의 보편적으로 링크되어 vim있지만 다음 중 하나 ex는 POSIX 사양에서 가져온 파일 시스템과 관련하여 핵심 사항 입니다.

이 섹션에서는 편집 버퍼 라는 용어를 사용하여 현재 작업중인 텍스트를 설명합니다. 이 용어는 특정 구현을 암시하지 않습니다. 모든 편집 변경은 편집 버퍼에서 수행되며, 편집기 명령이 파일을 쓸 때까지 파일에 영향을 미치지 않습니다.

"... 모든 파일에 영향을 미칠 것입니다 ..."파일 시스템에 무언가를 넣는 것 (임시 파일조차도)은 "모든 파일에 영향을 미치는"것으로 간주합니다. 아마도?*

POSIX 사양에 대한ex 신중한 연구는 ex온라인 에서 찾은 일반적인 스크립트 사용 ( vim특정 명령 으로 흩어져 있음)과 비교할 때 의도 된 휴대용 사용에 대한 일부 "gotchas" 를 나타냅니다 .

1. +cmdPOSIX에 따라 구현 은 선택 사항입니다.
2. 여러 -c옵션을 허용하는 것도 선택 사항입니다.
3. 전역 명령 :g은 이스케이프되지 않은 다음 줄 바꿈까지 모든 것을 "먹습니다"(따라서 정규 표현식에서 찾은 각 일치 후에 끝에서 한 번 실행되지 않고 실행). 따라서 하나의 인스턴스 -c 'g/regex/d | x'만 삭제 한 다음 파일을 종료합니다.

내가 연구 한 바에 따르면 , 특정 정규 표현식과 일치하는 모든 줄을 삭제하기 위해 전체 파일 시스템에서 파일을 편집하는 POSIX 호환 방법은 다음과 같습니다.

ex -sc 'g/myregex/d
x' /path/to/file/filename

이것은 파일을 버퍼에로드하기에 충분한 메모리가 있으면 작동합니다.

_{* 다른 표시가 있으면 의견에 기재하십시오.}

파이프를 사용하십시오, 루크!

파일 읽기 | 필터 | 다시 쓰기

sed 's/PATTERN//' BIGFILE | dd of=BIGFILE conv=notrunc

이 경우 sed새 파일을 만들지 않고 동일한 파일dd 을 여는 출력 파이프를 보냅니다 . 물론 하나의 경우에 사용할 수 있습니다grep

grep -v 'PATTERN' BIGFILE | dd of=BIGFILE conv=notrunc

그런 다음 나머지 를 자릅니다 .

dd if=/dev/null of=BIGFILE seek=1 bs=BYTES_OF_SED_OUTPUT

다른 답변에서 언급했듯이 sed -i파일을 동일한 디렉토리 의 새 파일로 복사 하고 프로세스를 변경 한 다음 새 파일을 원본 위로 이동하여 작동합니다. 그것이 작동하지 않는 이유입니다.  ed(원래 줄 편집기)는 다소 비슷한 방식으로 작동하지만 마지막으로 확인했을 /tmp때 스크래치 파일에 사용 됩니다. 귀하의 경우 /tmp전체의 것과 다른 파일 시스템에, ed당신을 위해 일을 할 수 있습니다.

대화식 쉘 프롬프트에서 다음을 시도하십시오.

$ ed / path / to / file / filename
피
g / myregex / d
승
큐

는 P(A 인 자본 P)가 엄격하게 필요하지 않습니다. 프롬프트를 켭니다. 그것 없이는, 당신은 어둠 속에서 일하고 있으며, 어떤 사람들은이 당혹감을 느낍니다. w하고 q있습니다 승 의식 및 Q UIT.

ed암호 진단으로 악명이 높습니다. 어떤 점에서 그것은 (어떤 프롬프트 것이 다른 것을 표시하면 *분명 성공적인 운영 (의 확인입니다) 또는 뭔가 특히 그것이 포함되어있는 경우 ?) 하지 않는다 (사용하여 파일을 쓰기 w). 그냥 종료하십시오 ( q). 그것이 당신을 풀어주지 않으면 q다시 말 하십시오.

귀하의 경우 /tmp디렉토리가 가득 파일 시스템에 (의 파일 시스템은 또한, 전체 경우 또는) 일부 공간 어딘가를 찾아보십시오. tmpfs 또는 외부 저장 장치 (예 : 플래시 드라이브) 장착에 대한 혼돈; 그러나 여러 파일 시스템이 있고 파일 시스템이 모두 가득 차지 않은 경우 다른 기존 파일 시스템 중 하나를 사용할 수 있습니다. 혼돈은 파일을 다른 파일 시스템으로 복사하고 파일을 편집 한 다음 ( sed) 다시 복사 할 것을 제안합니다. 이 시점에서 가장 간단한 솔루션 일 수 있습니다. 그러나 여유 ​​공간이있는 파일 시스템에 쓰기 가능한 디렉토리를 만들고 환경 변수 TMPDIR를 해당 디렉토리를 가리 키도록 설정 한 다음 실행하는 방법이 ed있습니다. (공개 : 이것이 효과가 있는지 확실하지 않지만 상처를 입을 수는 없습니다.)

작업을 마치면 다음 ed을 수행하여이를 자동화 할 수 있습니다.

ed filename << EOF
g / myregex / d
승
큐
EOF

스크립트에서. 또는 don_crissti가 제안한대로.printf '%s\n' 'g/myregex/d' w q | ed -s filename

바이트 수를 오프셋으로 가져올 수 있고 줄이 시작점에서 끝까지 발생하면 파일을 아주 쉽게자를 수 있습니다.

o=$(sed -ne'/regex/q;p' <file|wc -c)
dd if=/dev/null of=file bs="$o" seek=1

또는 ${TMPDIR:-/tmp}다른 파일 시스템에있는 경우 :

{   cut -c2- | sed "$script" >file
} <file <<FILE
$(paste /dev/null -)
FILE

때문에 (대부분의) 쉘은 삭제 된 임시 파일 거기에 자신의 여기-문서를 넣습니다. <<FILE디스크립터가 처음부터 끝까지 유지되고 ${TMPDIR:-/tmp}필요한만큼의 공간 이있는 한 완벽하게 안전 합니다.

임시 파일을 사용하지 않는 쉘은 파이프를 사용하므로 이런 방식으로 사용하는 것은 안전하지 않습니다. 이 포탄은 전형적으로 ash같은 파생 상품 busybox, dash, BSD sh- zsh, bash, ksh, 및 Bourne 쉘 그러나, 모든 사용 임시 파일.

분명히 나는 지난 7 월에 이와 비슷한 것을하기 위해 작은 쉘 프로그램을 작성했습니다.

/tmp실행 가능하지 않은 경우 파일을 메모리에 넣을 수있는 한 ...

sed 'H;$!d;x' <file | { read v &&
sed "$script" >file;}

... 일반적으로 sed입출력 파일을 자르기 전에 첫 번째 프로세스 에서 파일이 완전히 버퍼링되었는지 확인 하십시오.

보다 목표적이고 효율적인 솔루션은 다음과 같습니다.

sed '/regex/!H;$!d;x' <file|{ read v && cat >file;}

... 어쨌든 삭제하려는 버퍼링 라인을 방해하지 않기 때문입니다.

일반적인 경우의 테스트 :

{   nums=/tmp/nums
    seq 1000000 >$nums
    ls -lh "$nums"
    wc -l  "$nums"
    sed 'H;$!d;x' <$nums | { read script &&  ### read always gets a blank
    sed "$script" >$nums;}
    wc -l  "$nums"
    ls -lh "$nums"
}

-rw-r--r-- 1 mikeserv mikeserv 6.6M Dec 22 20:26 /tmp/nums
1000000 /tmp/nums
1000000 /tmp/nums
-rw-r--r-- 1 mikeserv mikeserv 6.6M Dec 22 20:26 /tmp/nums

이 답변에서 아이디어를 차용 이 다른 대답 과 이 다른 대답을 하지만, 더 일반적으로 적용 답을 작성,이를 기반으로 :

num_bytes = $ (sed '/ myregex / d' / path / to / file / filename | wc -c)
sed '/ myregex / d' / path / to / file / filename 1 <> / path / to / file / filename 
dd if = / dev / null of = / path / to / file / filename bs = "$ num_bytes"찾기 = 1

첫 번째 행은 sed파일이 아닌 표준 출력에 출력을 기록 하여 명령을 실행합니다 . 특히, wc캐릭터를 세는 파이프에 . 두 번째 줄은 또한 sed표준 출력에 기록 된 출력으로 명령을 실행합니다 .이 경우 여기서는 논의되는 읽기 / 쓰기 덮어 쓰기 (잘라 내기 없음) 모드의 입력 파일로 리디렉션됩니다 . 이것은 다소 위험한 일입니다. 필터 명령 이 데이터 양 (텍스트)을 늘리지 않을 때만 안전합니다 . 즉, 모든에 대한 N , 그것을 읽는 바이트가 기록 N 이하의 바이트. 물론 이것은 sed '/myregex/d'명령에 해당됩니다. 읽는 모든 줄에 대해 정확히 같은 줄을 쓰거나 아무것도 쓰지 않습니다. (다른 예 :s/foo/fu/또는 s/foo/bar/안전 할 것이나, s/fu/foo/그리고 s/foo/foobar/하지 않을 것입니다.)

예를 들면 다음과 같습니다.

$ cat filename
It was
a dark and stormy night.
$ sed '/was/d' filename 1<> filename
$ cat filename
a dark and stormy night.
night.

이 32 바이트의 데이터 때문에 :

I  t     w  a  s \n  a     d  a  r  k     a  n  d     s  t  o  r  m  y     n  i  g  h  t  . \n

이 25 자로 덮어 썼습니다 :

a     d  a  r  k     a  n  d     s  t  o  r  m  y     n  i  g  h  t  . \n

night.\n끝에 7 바이트를 남겨 두십시오.

마지막으로, dd명령은 새로운 스크럽 된 데이터 (이 예에서는 바이트 25)의 끝을 찾고 나머지 파일을 제거합니다. 즉, 해당 시점에서 파일을 자릅니다.

어떤 이유로 든 1<>트릭이 작동하지 않으면 할 수 있습니다

sed '/ myregex / d' / path / to / file / filename | dd of = / path / to / file / filename conv = notrunc

또한, 당신이하고있는 모든 행을 제거 grep -v myregex하는 한 ( Barmar가 지적한 대로 ) 필요한 것입니다.

sed -i 'd'/ path / to / file / filename