매우 느린 스냅 샷 제거


13

iSCSI를 통해 HP LeftHand 스토리지가 노출 된 ESXi 상자가 있습니다.

1TB 디스크가있는 가상 머신이 있으며 그 중 800GB가 소비됩니다. 디스크는 LeftHand 스토리지에서 씩 프로비저닝됩니다.

VM에서 스냅 샷이 열리고 (Veeam Backup and Recovery가이를 수행 할 수 있음) 약 6 시간 동안 열렸습니다. 이 기간 동안 약 5GB의 델타 디스크가 생성되었습니다.

스냅 샷 제거에 5 시간이 걸렸지 만 여전히 완료되지 않았습니다. 스토리지 어레이는 실제로 해당 어레이에서 IOPS (약 600, 백그라운드 노이즈), 처리량 (약 8MB / 초, 백그라운드 노이즈), 평균 큐 깊이 9를보고합니다.

다시 말해, 스냅 샷 통합 프로세스가 IO 바운드가 아닌 것 같습니다. 스냅 샷 제거가 너무 느려지는 것을 볼 수 없습니다. 그것은 되는 델타 파일을 보면서 판단, 작업.

이 (상대적으로 작은) 스냅 샷이 제거하기에 너무 느린 이유에 대해 살펴 봐야 할 것이 있습니까?


당으로 VM웨어 문서 , 내가보고 있어요 ls -lh | grep -E "delta|flat|sesparse"바로 지금, 나는 변화하는 두 개의 델타 파일을 참조하십시오 :

-rw-------    1 root     root      194.0M Jun 15 01:28 EXAMPLE-000001-delta.vmdk
-rw-------    1 root     root      274.0M Jun 15 01:27 EXAMPLE-000002-delta.vmdk

하나의 스냅 샷 파일이 통합되는 반면 다른 하나는 통합 프로세스 중에 델타를 수집한다고 추론하고 있습니다. 그런 다음 새 것이 통합되고 해당 프로세스 중에 다른 델타가 작성됩니다.

반복 할 때마다 파일 크기 줄어들 기 때문에 (대부분의 반복 작업) 결국이 통합 절차가 완료된다고 가정합니다 (변경 사항을 생성하지 않고 30 분 동안 VM을 네트워크에서 분리해야 할 수도 있음). .

100 메가의 델타 당 약 2 분이 소요됩니다. 이것은 결코 전에 일어난 적이 없습니다. 일반적인 Veeam 백업에서 스냅 샷 제거에는 약 40 분이 소요됩니다 (물론 빠르지는 않지만 느리지는 않습니다).


6 시간 2 분 후 스냅 샷이 마지막으로 제거됩니다. 그러나 여전히 이런 종류의 문제를 해결할 수있는 방법이 있는지 알고 싶습니다 (스토리지 성능 제외).


8Mbit / 초가 10Mbit / sec 네트워킹에서 약간의 오버 헤드를 뺀 것과 거의 비슷하다는 것을 알 수 없습니다. iSCSI 링크에서 네트워크 관련 문제 일 가능성이 있습니까?-dodgy patch lead가 실패하기 시작합니까? 호스트가 단일 링크입니까, 단일 호스트입니까? 그렇지 않으면 호스트가 지속적인 읽기 / 쓰기에 대해 정상 수행합니까? 스위치 포트에서 오류를 확인할 수 있습니까?
TessellatingHeckler

@TessellatingHeckler 방금 테스트를 했는데도 어레이에서 약 1.5Gbit / sec의 순차를 얻을 수 있습니다. 이는 정상적인 상황에서 얻을 수있는 것입니다. 지난 밤에 스냅 샷 제거에 3 분이 걸렸 는데, 지금까지 본 것 가장 빠릅니다 (일반적으로 약 10 배 정도이지만 지난 밤에 큰 축구 경기가 있었기 때문에 몇 시간 후에 아무도 시스템을 사용하지 않았다고 생각합니다. 백업이 실행될 때 작은 델타 및 작은 커밋 시간). 그래서 한 번은 그랬던 것처럼 빨리 할 수 있습니다 .
Mark Henderson

흠. VMware Storage IO Control이 실행 중이고 데이터 스토어가 다른 VM과 공유됩니까? 호스트 나 SAN 하드웨어에 스트레스를주지 않으면 서 제한 / 소프트 한계에 도달했을 가능성이 있습니까?
TessellatingHeckler

ESXi 및 vCenter 버전?
Nils

@Nils 5.5
Mark Henderson

답변:


2

ESXI 스냅 샷 제거에 시간이 오래 걸릴 수 있다는 것을 이해하고 있습니다. 스냅 샷을 제거하려면 이전 스냅 샷의 변경 사항을 다음 스냅 샷에 순서대로 기록해야합니다. 이 프로세스를 최대한 빠르고 효율적으로 실행하는 데 도움이되도록 가장 오래된 스냅 샷부터 가장 최신 스냅 샷까지 항상 삭제하는 방법을 배웠습니다.

당연히 스냅 샷 간 변경이 많을수록 병합 시간이 길어집니다.


1
5GB 스냅 샷을 제거하는 데 6 시간을 제외하고는 맞지 않습니다. 앞에서 언급했듯이 스냅 샷을 제거하는 데 일반적으로 약 40 분이 걸리며 40 분이 너무 느리다고 생각합니다. 이는 해당 VM에서 유일한 스냅 샷이었으며 이후 버전의 ESXi에서 스냅 샷 제거가 제거 된 순서가 중요하지 않기 때문에 변경되었습니다.
Mark Henderson

2
스토리지에 I / O가 거의없는 느린 스냅 샷 동작을 보았지만 원인을 추적 한 적이 없습니다. 나는 항상 하이퍼 바이저가 메모리 내 델타를 씹고 있다고 가정했습니다. (해당 머신은 직접 연결 스토리지를 사용했거나 SAN 문제도 검토했을 수도 있지만 VMWare의 스냅 샷 하위 시스템에서 항상 델타가 크거나 최적화되지 않은 코드로 변경되었습니다.)
voretaq7
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.