Linux에서 예측할 수없는 대규모 I / O 성능 저하

~ 6 년 동안 아무 문제없이 데비안 테스트를 사용하고 있습니다 (정기적으로 업데이트하고 있습니다). 그러나 최근에는 "재부팅 할 때까지 지속되는 낮은 I / O 성능"으로 요약 될 수있는 임의의 동작을 보여주기 시작했습니다.

문제는 갑자기 모든 디스크 읽기 및 쓰기가 ~ 5MB / 초로 느려져서 연속적인 읽기 및 쓰기가 발생한다는 것입니다. 속도가 너무 낮기 때문에 디스크에 기계적 문제가 발생하거나 스트레스를받지 않지만 재부팅 할 때까지 모든 속도가 느려집니다.

컴퓨터의 I / O 하위 시스템은 1 개의 OCZ Vertex 3 SSD와 2 개의 WD Caviar Black HDD로 구성됩니다. SSD는 OS의 읽기가 많은 부분을 보유하고 HDD의 파티션은 나머지를 보유합니다.

문제를 진단하기 위해 성공하지 않고 다음을 시도했습니다.

• top CPU 또는 I / O 사용량에서 런 어웨이 활동을 표시하지 않습니다.
• hdparm디스크의 정상적인 성능 등급을 반환합니다 (단지 확인했습니다 -t).
• smartctl디스크에 성능 문제가 표시되지 않습니다. 긴 테스트 결과 디스크가 새로운 디스크만큼 우수하다는 것이 밝혀졌습니다.

시스템에 Z77 칩셋, 16GB RAM 및 Intel i7 3770K CPU가 있으며 통계에 RAM, I / O 또는 CPU의 포화 징후가 나타나지 않지만 이와 같은 문제는 커널 경험이 부족합니다. 도움을 주시면 감사하겠습니다.

업데이트 1 :

• 예방 조치로 모든 파티션에서 fsck를 실행했습니다. 모든 FS가 깨끗합니다.
• 우연히 한 달 전에 나온 BIOS 업그레이드를 발견하여 적용했습니다.
• 파티션이 50 % 이상 채워지지 않았습니다.

업데이트 2 :

이틀 동안 문제가 발생하지 않습니다. 하나 fsck또는 BIOS 업데이트는 시스템의 일부 나막신을 청소. 나는 여전히 문제를 모니터링하고 있으며 사후 답변으로 질문을 닫을 것입니다.

업데이트 3 :

문제는 방금 재 포장되었고 좀 더 파고 들었습니다. 답을 참조하십시오.

나는 문제를 다시 재현 할 수 있었고 그것은 큰 디스크 캐시의 결과였습니다. 내 디스크 캐시가 8GB 이상으로 증가 할 수 있으며 일부 응용 프로그램은이를 좋아하지 않아 I / O에 문제가있는 것 같습니다.

echo 3 > /proc/sys/vm/drop_caches루트로 디스크 캐시를 삭제 하면 문제가 해결됩니다. 현재 큰 디스크 캐시로 인해 I / O 성능이 저하되는 이유를 모르겠습니다.

마지막 업데이트 : 더 많은 조사를 한 결과 캐시의 파일 수가 문제를 일으키는 것으로 나타났습니다. 많은 작은 파일을 디스크에 다시 커밋하려고 시도하는 동안 디스크를 휴지통에 버렸습니다. 10 년 동안 시스템을 사용하고 있었기 때문에 급락하여 64 비트 데비안으로 다시 설치했습니다. 이제 원활하게 작동합니다. 32 비트 운영 체제의 한계를 찾아 10 년 동안 업그레이드 한 결과 부작용이 있었을 것입니다.

에 의심스러운 메시지가 dmesg있습니까?

시스템 병목 현상에 대한 통찰력을 얻을 수있는 몇 가지 도구

• dstat
• 지연 시간
• sysprof