머신간에 거대한 스파 스 파일 (VM 디스크 이미지)을 어떻게 동기화합니까?

한 리눅스 서버에서 다른 리눅스 서버로 거대한 파일을 동기화 할 수있는 rsync와 같은 명령이 있습니까?

대상 파일이 스파 스 상태로 유지되는 것이 매우 중요합니다. 드라이브가 포함 된 드라이브보다 길지만 클 수는 없습니다. 변경된 블록 만 와이어를 통해 전송해야합니다.

나는 rsync를 시도했지만 기쁨을 얻지 못했습니다. https://groups.google.com/forum/#!topic/mailing.unix.rsync/lPOScZgFE9M

이 작업을 수행하는 프로그램을 작성하면 휠을 재발 명합니까? http://www.finalcog.com/synchronise-block-devices

감사,

크리스

rsync --ignore-existing --sparse ...

스파 스 모드에서 새 파일을 만들려면

뒤에

rsync --inplace ...

기존의 모든 파일 (이전에 작성된 스파 스 파일 포함)을 업데이트합니다.

Rsync는 각 파일에 변경 사항 만 전송하며 --inplace를 사용하면 파일을 다시 만들지 않고 변경된 블록 만 다시 작성해야합니다. 자신의에서 기능 페이지 .

rsync는 Unix 시스템을위한 파일 전송 프로그램입니다. rsync는 "rsync 알고리즘"을 사용하여 원격 파일을 동기화하는 매우 빠른 방법을 제공합니다. 이 작업은 링크의 파일 중 하나만 미리 링크의 한쪽 끝에 있어야 할 필요없이 링크를 통해 파일의 차이점 만 전송하여 수행합니다.

--inplace를 사용하면 효과가 있습니다. 그러면 진행률, 전송 압축 (기본 압축 수준), 로컬 스토리지 디렉토리의 내용을 재귀 적으로 전송 (첫 번째 슬래시가 중요 함), 파일을 변경 한 후 전송에 ssh를 사용하게됩니다.

rsync -v -z -r --inplace --progress -e ssh /path/to/local/storage/ \
user@remote.machine:/path/to/remote/storage/ 

나는 종종 몇 가지 더 많은 일을하는 -a 플래그를 사용합니다. -rlptgoD와 같습니다. 맨 페이지에서 조회 할 수있는 정확한 동작을 그대로 두겠습니다.

나는 이것을하기 위해 소프트웨어를 작성했다.

http://www.virtsync.com

실제 서버 당 $ 49의 상용 소프트웨어입니다.

이제 주거용 광대역에서 3 분 이내에 50GB 스파 스 파일 (3GB의 콘텐츠 포함)을 복제 할 수 있습니다.

chris@server:~$ time virtsync -v /var/lib/libvirt/images/vsws.img backup.barricane.com:/home/chris/
syncing /var/lib/libvirt/images/vsws.img to backup.barricane.com:/home/chris/vsws.img (dot = 1 GiB)
[........>.........................................]
done - 53687091200 bytes compared, 4096 bytes transferred.

real    2m47.201s
user    0m48.821s
sys     0m43.915s 

도구 를 통해 바이너리 "rsync"를 사용하여 "스냅 샷"백업을 구현하는 Zumastor Linux 스토리지 프로젝트를 살펴보십시오 ddsnap.

맨 페이지에서 :

ddsnap은 여러 동시 스냅 샷을 효율적으로 보유 할 수있는 블록 레벨 스냅 샷 기능을 제공하여 블록 장치 복제를 제공합니다. ddsnap은 두 스냅 샷간에 다른 스냅 샷 청크 목록을 생성 한 다음 해당 차이를 유선으로 전송할 수 있습니다. 다운 스트림 서버에서 업데이트 된 데이터를 스냅 샷 된 블록 장치에 씁니다.

lvmsync가이를 수행합니다.

사용 내역은 다음과 같습니다 . 소스에서 LVM 스냅 샷을 작성하고 논리 파티션을 전송합니다. 스냅 샷 생성 이후 변경 사항에 대한 증분 업데이트를 원하는 횟수만큼 전송할 수 있습니다.

전체 파일 시스템을 복제하는 것이 해결책 일 수 있습니까? DRBD? http://www.drbd.org/

어쩌면 여기서 조금 이상 할 수도 있지만 최근에 NFS 가이 문제를 처리한다는 것을 알았습니다.

따라서 한 컴퓨터에서 디렉토리를 내 보낸 다음 다른 컴퓨터에 디렉토리를 마운트하고 cp. (이전 / 고대 유틸리티 중 일부는 스파 스 파일에 문제가있을 수 있습니다.)

rsync스파 스 파일을 전송하는 데 특히 비효율적이라는 것을 알았습니다 .

중간 정도의 차이로 큰 파일 또는 블록 장치를 동기화하려면 일반 복사를 수행하거나 bdsync를 사용할 수 있습니다 . rsync는이 특정 경우에 절대 맞지 않습니다 *.

bdsync나를 위해 일하고, 충분히 성숙해 보였으며, 버그의 역사는 고무적입니다 (작은 문제, 신속한 해결). 내 테스트에서 속도는 이론상 최대치에 가깝습니다 ** (즉, 파일을 읽는 데 필요한 시간에 동기화 할 수 있음). 마지막으로 오픈 소스이며 비용이 들지 않습니다.

bdsync호스트에서 파일을 읽고 체크섬을 교환하여 비교하고 차이를 감지합니다. 이것들 모두 동시에 . 마지막으로 소스 호스트에 압축 패치 파일을 작성합니다. 그런 다음 해당 파일을 대상 호스트로 이동하고 bdsync를 다시 실행하여 대상 파일을 패치하십시오.

다소 빠른 링크 (예 : 100Mbit 이더넷)를 통해 사용하고 차이가 작은 파일 (예 : VM 디스크의 경우)이 파일을 읽는 데 필요한 시간과 동기화하는 시간이 줄어 듭니다. 당신이 (당신이 사용하는 시간을 절약 할 수 있습니다 보인다 다른 하나의 호스트에서 압축 된 변경 내용을 복사해야하기 때문에 느린 링크를 통해 당신은 좀 더 시간이 필요 멋진 트릭을 하지만 테스트하지 않았습니다).

* : rsync는 대용량 파일에서 비효율적입니다. --inplace를 사용하더라도 대상 호스트에서 전체 파일을 먼저 읽은 후에 AFTERWARDS는 소스 호스트에서 파일을 읽고 마지막으로 차이점을 전송합니다 (rsync를 실행하고 관찰하는 동안 dstat 또는 이와 유사한 것을 실행하십시오). 결과적으로 약간의 차이가있는 파일의 경우에도 파일을 동기화하기 위해 파일을 읽는 데 걸리는 시간이 약 두 배가 걸립니다.

** : 파일의 어떤 부분이 변경되었는지 알 수있는 다른 방법이 없다고 가정합니다. LVM 스냅 샷은 비트 맵을 사용하여 변경된 블록을 기록하므로 매우 빠릅니다 ( lvmsync 추가 정보에 자세한 정보가 있음).

나는 그러한 유틸리티를 알지 못하고 그것을 처리 할 수있는 시스템 호출 만 알기 때문에 그러한 유틸리티를 작성하면 오히려 도움이 될 수 있습니다.

실제로 할 수있는 일은 qemu-img convert를 사용하여 파일을 복사하는 것이지만 대상 FS가 스파 스 파일을 지원하는 경우에만 작동합니다