수백만 개의 파일 삭제

수백만 개의 gif 이미지로 가득 채웠습니다. rm 명령에 비해 너무 많습니다.

다음과 같이 find 명령을 시도했습니다.

find . -name "*.gif" -print0 | xargs -0 rm

문제는 내 컴퓨터가 정말로 나 빠지고 서버이기 때문에 고객에게 시간 초과가 발생한다는 것입니다.

머신을 잠그지 않고 모든 파일을 더 빨리 삭제할 수있는 방법이 있습니까?

더 빠른 것이 반드시 원하는 것은 아닙니다. 실제로 느리게 실행하고 싶을 때 실행 중에 삭제하면 리소스가 줄어 듭니다.

nice (1) 를 사용 하여 명령의 우선 순위를 낮추십시오.

nice find . -name "*.gif" -delete

I / O 바인딩 프로세스의 경우 nice (1)로는 충분하지 않을 수 있습니다. Linux 스케줄러는 CPU뿐만 아니라 I / O도 고려하지만 I / O 우선 순위를보다 세밀하게 제어 할 수 있습니다.

ionice -c 2 -n 7 find . -name "*.gif" -delete

그렇게하지 않으면 수면을 추가하여 실제로 속도를 늦출 수 있습니다.

find . -name "*.gif" -exec sleep 0.01 \; -delete

Linux를 실행 중이고이 작업은 아마도 I / O 바인딩 일 것이므로 다음을 사용하여 명령 유휴 I / O 스케줄러에 우선 순위를 부여하는 것이 좋습니다 ionice(1).

ionice -c3 find . -name '*.gif' -delete

원래 명령과 비교하여 파이프를 피하여 CPU 사이클을 더 많이 절약 할 수 있다고 생각합니다 xargs.

아니.

디스크의 소프트 포맷에서 더 빠른 방법은 없습니다. 파일은 한 번 에 rm 에 제공되며 (명령 행의 한계까지 설정 될 수 있음 xargs) 각 파일에서 rm을 호출하는 것보다 훨씬 낫습니다. 따라서 더 빠른 방법은 없습니다.

사용 nice(또는 renice그이 스케줄링 있기 때문에 실행중인 프로세스에) 부분적으로 만 도움이 CPU의 자원이 아닌 디스크를! CPU 사용량이 매우 적습니다. 이것은 리눅스의 약점입니다. 한 프로세스가 디스크를 "먹으면"(즉, 많은 작업을 할 경우) 전체 머신이 멈 춥니 다. 실시간 사용을 위해 수정 된 커널이 해결책이 될 수 있습니다.

서버에서 수행 할 작업은 다른 프로세스가 수동으로 작업을 수행하도록하는 것입니다. 서버를 "호흡"상태로 유지하기위한 일시 중지를 포함합니다.

find . -name "*.gif" > files
split -l 100 files files.
for F in files.* do
    cat $F | xargs rm
    sleep 5 
done

파일 100 개마다 5 초간 기다립니다. 시간이 훨씬 오래 걸리지 만 고객은 지체하지 않아야합니다.

삭제 될 파일 수가 남은 파일보다 훨씬 많은 경우, 삭제 될 파일 트리를 걷고 모든 파일 시스템 업데이트를 수행하는 것이 가장 효율적인 방법은 아닙니다. (서투른 참조 카운트 메모리 관리를 수행하는 것과 유사합니다. 큰 트리의 모든 객체를 방문하여 참조를 삭제하는 대신 모든 것을 원치 않는 쓰레기로 만드는 대신 한 번에 정리할 수있는 항목을 청소합니다.)

즉, 다른 볼륨에 보관 될 트리 부분을 복제하십시오. 원래 볼륨에서 새로운 빈 파일 시스템을 다시 작성하십시오. 보유 된 파일을 원래 경로로 다시 복사하십시오. 이것은 가비지 콜렉션 복사 와 모호합니다 .

다운 타임이 있지만 지속적인 성능 저하 및 서비스 중단보다 더 나을 수 있습니다.

그것은 당신의 시스템과 상황에서 실용적이지 않을 수 있지만, 이것이 갈 길인 명백한 경우를 상상하기는 쉽습니다.

예를 들어, 파일 시스템에서 모든 파일 을 삭제하려고한다고 가정하십시오 . 하나씩 반복해서 삭제하는 요점은 무엇입니까? 그냥 마운트를 해제하고 빈 파일 시스템을 만들기 위해 파티션 위에서 "mkfs"를하십시오.

또는 6 가지 중요한 파일을 제외한 모든 파일을 삭제하고 싶다고 가정 해보십시오. 거기에서 십여 개를 가져 와서 "mkfs"를 맨 위로 가져옵니다.

결국 충분한 파일이 남아있을 때 중단 시간과 같은 다른 비용을 고려하여 재귀 삭제를 수행하는 것이 더 저렴 해지는 손익 분기점이 발생합니다.

시도해 보셨습니까?

find . -name "*.gif" -exec rm {} +

끝에있는 + 기호는 find가 단일 rm 명령을 실행하기 위해 더 많은 파일을 포함하게합니다. 자세한 내용은 이 질문 을 확인 하십시오.