디스크 I / O에 대한 다른 프로세스가 굶주 리지 않도록 하위 트리 제거 (`rm -rf`)를 유지하는 방법은 무엇입니까?

사용량이 많은 사이트를위한 매우 큰 (멀티 GB) Nginx 캐시 디렉토리가 있으며 가끔씩 한 번에 지워야합니다. 캐시 폴더를 새 경로로 이동하고 이전 경로에 새 캐시 폴더를 만든 다음 이전 캐시 폴더를 사용하여 과거 에이 문제를 해결했습니다 rm -rf.

그러나 최근에 바쁜 아침에 캐시를 비워야 할 때, I / O rm -rf는 Nginx와 그 앞에있는 서버가 읽기 집약적이기 때문에 서버의 디스크 액세스 프로세스를 고갈시킵니다. CPU가 유휴 상태에 있고 rm -rf디스크 IO의 98-99 %를 차지하는 동안로드 평균 상승을 볼 수 있습니다 iotop.

ionice -c 3호출 할 때 시도했지만 rm관찰 된 동작에 큰 영향을 미치지 않는 것 같습니다.

rm -rf디스크를 더 공유 하기 위해 길들이 는 방법이 있습니까? 단서가 다른 기술을 사용해야 ionice합니까?

최신 정보:

해당 파일 시스템은 AWS EC2 인스턴스 스토어입니다 (기본 디스크는 EBS 임). /etc/fstab항목은 다음과 같습니다 :

/dev/xvdb       /mnt    auto    defaults,nobootwait,comment=cloudconfig 0       2

이 페이지에서 수집 된 모든 데이터. 다음은 파일의 큰 디렉토리를 삭제하는 몇 가지 옵션입니다. 이것이 어떻게 만들어 졌는지에 대한 자세한 내용은 기록을 확인하십시오.

명령 경과 시스템 시간 % CPU cs1 * (Vol / Invol)
rsync -a – 삭제 비어 있음 / a 10.60 1.31 95 % 106/22
b /-유형 f 찾기-삭제 28.51 14.46 52 % 14849/11
c /-유형 f 찾기 | xargs -L 100 rm 41.69 20.60 54 % 37048/15074
d / type f 찾기 | xargs -L 100 -P 100 rm 34.32 27.82 89 % 929897/21720
rm -rf f 31.29 14.80 47 % 15134/11

* cs1은 자발적 및 비자발적 인 컨텍스트 전환입니다.

파일을 제거하면 파일 시스템에서 메타 데이터 작업 만 수행하며, 이는 ionice의 영향을받지 않습니다.

가장 간단한 방법은 지금 디스크 공간이 필요없는 경우 rm사용량이 적은 시간 동안 수행하는 것 입니다.

더 복잡한 방법은 시간이 지남에 따라 삭제를 분산시키는 것입니다. 다음과 같은 것을 시도해 볼 수 있습니다 (경로와 파일 이름에 공백이 없다고 가정하십시오!)

while find dir -type f | head -n 100 | xargs rm; do sleep 2; done
while find dir -type d -depth | head -n 100 | xargs rmdir; do sleep 2; done

또한 rm -f루프가 멈추지 않기 때문에 첫 번째 명령에서 사용할 수 없습니다 ( rm인수가없는 경우 의 오류 종료 코드에 따라 다름 ).

주기 당 삭제 수 (예 : 100)와 휴면 기간을 수정하여 조정할 수 있습니다. 그러나 파일 시스템이 여전히 IO로드에 문제가있는 방식으로 메타 데이터 업데이트를 모을 수 있기 때문에 실제로 작동하지 않을 수 있습니다. 당신은 시도해야합니다.

"nice"명령과 함께 사용할 수 있습니다. ionice -c 3 nice -19 rm -rf /some/folder

이것은 기계에서 프로세스의 우선 순위를 변경합니다.