rsync --inplace는 전체 파일 또는 업데이트해야 할 부분에만 쓰나요? (btrfs + rsync 백업의 경우)

나는 btrfs 스냅 샷을 rsync와 결합하여 히스토리가있는 효율적인 백업 솔루션을 만드는 방법에 대한 몇 가지 가이드를 읽고있었습니다. 그러나 rsync --inplace실제로 변경 한 파일의 일부만 수정하는지 또는 전체 파일을 순차적으로 덮어 쓰는지 여부에 따라 달라집니다 . 전체 파일을 작성하면 btrfs가 항상 파일의 새 사본을 작성하므로 아이디어의 효율성이 떨어집니다.

rsync에 두 개의 로컬 경로를 전달하면 기본적으로 델타 전송이 아닌 "-전체 ​​파일"을 사용합니다. 그래서, 당신이 찾고있는 것은 "-전체 ​​파일"입니다. '-c'를 요청하면 델타 전송도받을 수 있습니다.

확인 방법은 다음과 같습니다.

$ mkdir a b
$ dd if=/dev/zero of=a/1 bs=1k count=64
$ dd if=/dev/zero of=a/2 bs=1k count=64
$ dd if=/dev/zero of=a/3 bs=1k count=64
$ rsync -av a/ b/
sending incremental file list
./
1
2
3

sent 196831 bytes  received 72 bytes  393806.00 bytes/sec
total size is 196608  speedup is 1.00

그런 다음 파일을 터치하고 다시 동기화

$ touch a/1
$ rsync -av --inplace a/ b/
sending incremental file list
1

sent 65662 bytes  received 31 bytes  131386.00 bytes/sec
total size is 196608  speedup is 2.99

"ls -li"로 inode를 재사용했는지 확인할 수 있지만 전체 64K 바이트를 보냈습니다. --no-whole-file로 다시 시도하십시오

$ touch a/1
$ rsync -av --inplace --no-whole-file a/ b/
sending incremental file list
1

sent 494 bytes  received 595 bytes  2178.00 bytes/sec
total size is 196608  speedup is 180.54

이제 494 바이트 만 보냈습니다. strace를 사용하여 파일이 작성되었는지 여부를 추가로 확인할 수 있지만, 최소한 사용 된 델타 전송이 표시됩니다.

로컬 파일 시스템의 경우 --whole-file는 가정합니다 ( 주석 참조) (rsync에 대한 매뉴얼 페이지 참조). 반면에 네트워크 --no-whole-file를 통한 것으로 가정하면 --inplace자체적으로로 동작합니다 --inplace --no-whole-file.

여기에 매뉴얼의 올바른 부분을 인용 한 확실한 대답이 있습니다.

   --inplace

          [...]

          This option is useful for transferring large files
          with  block-based  changes  or  appended data, and
          also on systems that are disk bound,  not  network
          bound.   It  can  also  help  keep a copy-on-write
                                               *************
          filesystem snapshot from diverging the entire con‐
          *******************
          tents of a file that only has minor changes.

--inplace변경된 영역 만 덮어 씁니다. Btrfs에 쓸 때는 항상 사용하십시오.

rsync의 델타 전송 알고리즘은 전체 파일의 전송 여부 또는 다른 부분 만 처리합니다. 대역폭을 절약하기 위해 두 시스템간에 파일을 재 동기화 할 때의 기본 동작입니다. --whole-file(또는 -W)로 재정 rsync의하여 전체 파일 을 강제 로 전송할 수 있습니다.

--inplacersync전송하는 동안 임시 파일을 만들지 여부를 처리합니다 . 기본 동작은 임시 파일을 만드는 것입니다. 전송이 중단 된 경우 대상 시스템의 기존 파일이 그대로 유지됩니다. --inplace이 동작을 무시 rsync하고 기존 파일을 직접 업데이트하도록 지시 합니다. 따라서 전송이 중단 된 경우 대상 시스템에 파일이 일치하지 않을 위험이 있습니다.

매뉴얼 페이지에서 :

This  option  changes  how  rsync transfers a file when its data
needs to be updated: instead of the default method of creating a
new  copy  of  the file and moving it into place when it is com-
plete, rsync instead writes the updated  data  directly  to  the
destination file.

이로 인해 파일 전체를 덮어 씁니다 .rsync가 다른 방식으로 작동하는 것은 거의 불가능하다고 생각합니다.

전체 rsync에 대한 이론적 작업은 이 백서에 설명되어 있습니다.

논문 참조 : D. Rasch and R. Burns. 내부 동기화 : 모바일 및 무선 장치의 파일 동기화 USENIX 연례 기술 회의, FREENIX 트랙, 91-100, USENIX, 2003.

링크에서 :

... 우리는 기존의 rsync 구현을 수정하여 전체 재구성을 지원합니다.

초록 : [...] rsync가 공간이 제한된 장치에서 작동하도록 수정했습니다. 대상 호스트의 파일은 현재 버전의 파일이 사용하는 동일한 스토리지에서 업데이트됩니다. 공간이 제한된 장치는 기존의 rsync 파일을 사용할 수 없습니다. 기존 rsync 파일은 이전 버전과 새로운 버전의 파일 모두에 메모리 나 저장소가 필요하기 때문입니다. 작은 메모리가있는 휴대 전화 및 핸드 헬드 PC의 파일 동기화가 그 예입니다. 인플레 이스 rsync 알고리즘은 파일의 압축 된 표현을 그래프로 인코딩 한 다음 인플레 이스 속성을 달성하기 위해 토폴로지 적으로 정렬됩니다. [...]

따라서 이것은 rsync --inplace가 수행하는 작업의 기술적 세부 사항 인 것으로 보입니다. 논문의 시작 부분에 따르면 :

내부 재구성을 통해 파일 동기화 작업을 수행하도록 rsync를 수정했습니다. [...] 임시 공간을 사용하는 대신 대상 파일의 변경은 현재 버전이 이미 차지하고있는 공간에서 이루어집니다. 이 도구는 공간이 제한된 장치를 동기화하는 데 사용할 수 있습니다.

분명 해짐에 따라 데이터가없는의 대답 @ , 이것은 그 의미 --inplace동일한 저장 공간을 사용하지만, 여전히 그 공간에 전체 파일을 복사 할 수 있습니다. 특히, 로컬 파일 시스템에서 /로 복사 할 때 rsync는 --whole-file옵션을 가정합니다 . 그러나 다른 네트워크 시스템에있을 때는 --no-whole-file옵션으로 가정합니다 .