대용량 파일을 빠르게 전송하기위한 rsync 최적화


19

이것이 내가 필요한 것입니다 :

  • 소스 서버에서 실행중인 Rsync 데몬. 대상 서버는 아래와 같이 rsync pull을 수행합니다.
    rsync -ptv rsync : // source_ip : document / source_path / *. abc destination_path /
  • 대용량 바이너리 파일 (3GB-5GB)이 LAN을 통해 소스 시스템에서 대상으로 복사됩니다. 따라서 암호화 / 암호 해독이 필요하지 않습니다. 따라서 SSH를 사용하지 않습니다. 대상 시스템은 rsync 데몬에 직접 연결됩니다.
  • rsync 풀 전에 대상 폴더는 항상 비어 있습니다. 따라서 일부 파일을 조건부로 업데이트하는 것에 대해 걱정할 필요가 없습니다. Rsync pull은 항상 대상에 새 파일을 생성합니다 (업데이트 아님). 따라서 체크섬을 계산하기 위해 rsync가 필요하지 않습니다.

수신 측에서 rsync가 소비하는 CPU의 양이 만족스럽지 않습니까? 위에서 설명한 경우 rsync 사용을 최적화하는 데 도움이되는 rsync 옵션은 무엇입니까? 내가 걱정하는 것은 rsync가 필요한 것보다 더 많은 일을 할 수 있다는 것입니다. rsync 체크섬 파일. 난 필요 없어

또한 속도 향상을 원합니다.

블록 크기 변경, 체크섬 비활성화 등이 도움이됩니까?


전송할 델타가없는 경우 rsync를 사용하지 마십시오.
울다

3
@womble : 그렇다면 어떤 도구를 사용해야합니까? Rsync를은 여기 - 제안 된 serverfault.com/questions/384467/...을
하기 Varun

netcat 또는 널 암호가있는 scp
울다

3
널 암호가있는 SCP? scp가 널 암호를 지원하는지 확인하십시오. 예를 들어 주시거나 관련 리소스를 알려주시겠습니까?
Varun

답변:


25

--whole-file또는 -W스위치를 살펴보고 싶을 것 같습니다 . rsync가 로컬 파일 시스템 복사를 수행하는 경우 기본적으로 활성화되어 있지만 LAN 속도가 높고 네트워크를 통해 동기화하는 경우 문서에서 사용을 권장한다고 생각합니다.

기본적으로 rsync 델타 알고리즘을 비활성화하고 파일이 다르다고 생각되면 전체 파일을 전송합니다.

강제하지 않으면 체크섬에 대해 걱정할 필요가 없습니다 -c. 기본적으로 마지막 수정 시간과 파일 크기 만보고 해당 값이 다르면 파일이 다르다고 가정합니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.