rsync 성능 및 처리량 최대화-직접 연결된 기가비트 서버

CentOS 6.5를 실행하는 두 개의 Dell R515 서버가 있으며 각각 하나의 브로드 컴 NIC가 서로 직접 연결되어 있습니다. 직접 링크를 사용하여 rsync over ssh를 사용하여 매일 밤 쌍의 기본 서버에서 보조 서버로 백업을 푸시합니다. 트래픽을 모니터링하면 ~ 2MBps의 처리량을 볼 수 있습니다. 이는 기가비트 포트에서 예상되는 것보다 훨씬 적습니다. MTU를 양쪽에 9000으로 설정했지만 아무런 변화가 없었습니다.

사용 가능한 최대 처리량으로 이동시키는 권장 설정 및 최적화가 있습니까? 또한 ssh (또는 잠재적으로 NFS)를 통해 rsync를 사용하여 수백만 개의 파일 (~ 6Tb의 작은 파일-거대한 Zimbra 메일 저장소)을 복사하므로 원하는 최적화가 특정 사용 사례에 더 구체적이어야 할 수도 있습니다 .

중요한 경우 양면에 ext4를 사용하고 있습니다.

감사

편집 : 나는 rsync거의 비슷한 결과로 다음 옵션을 사용했습니다 .

rsync -rtvu --delete source_folder/ destination_folder/

rsync -avHK --delete --backup --backup-dir=$BACKUPDIR source_folder/ destination_folder/

현재 cp동일한 직접 케이블 링크를 통해 NFS 내보내기를 사용할 때 동일한 수준의 나쁜 성능을보고 있습니다.

EDIT2 : 동기화를 마친 후 실행할 수 iperf있으며 성능이 약 990Mbits / sec이며, 실제 사용중인 데이터 세트로 인해 속도가 느려졌습니다.

파일 수와 SSH 암호화 오버 헤드가 가장 큰 장벽 일 수 있습니다. 이와 같은 전송에서는 유선 속도가 표시되지 않습니다.

개선 할 수있는 옵션은 다음과 같습니다.

• (예를 들면 저렴 암호화 알고리즘의 SSH + rsync를 사용 -e "ssh -c arcfour")
• HPN-SSH 와 같은 SSH 전송을 통해 암호화를 완전히 제거 합니다 .
• 블록 기반 전송. 스냅 샷, dd, ZFS 스냅 샷 전송 / 수신 등
• tarnetcat ( nc), mbuffer 또는 일부 조합을 사용하여 일회성이거나 드물게 전송되는 경우 .
• CentOS tuned-adm설정을 확인하십시오 .
• 파일 시스템 마운트에서 시간을 제거합니다. 다른 파일 시스템 마운트 옵션 검사
• NIC 송신 / 수신 버퍼.
• rsync명령 조정 겠습니까 -W, 여기에 전체 파일 옵션 메이크업 감각? 압축이 가능합니까?
• 전송 유형 (SSD, 스핀들 수, RAID 컨트롤러 캐시)에 맞게 스토리지 서브 시스템을 최적화하십시오.

아마 작은 파일을 많이 복사하는 것 (예 : MailDir 형식을 사용하는 메일 상자 등)은 높은 대역폭의 인터페이스를 이용하는 최선의 옵션이 아닙니다. SSH는 아마도 최고의 전송 프로토콜이 아닐 수도 있습니다. tar를 사용하여 소스 호스트에서 tarball을 작성하여 보조 호스트로 보내려고합니다.

tar c /var/mail | ssh root@secondary-host 'tar x -C /var/backups'

증분 백업이 필요한 경우 -gtar 옵션 을 사용해 볼 수 있습니다. 여전히 처리량을 최대화해야하는 경우 ssh 대신 netcat을 사용해보십시오.

기고 요인을 괴롭 히십시오.

• CPU (예 : 루프백을 통해 파이프 된 / dev / zero의 dd)
• 디스크 I / O (예 : cat> / dev / null로 파이프 된 큰 파일의 dd ( 단락을 방지하기 위해 파이프))
• 물리적 네트워크 I / O (예 : dd를 다른 머신에 파이프)
• 기타

독립적으로 테스트합니다.

Broadcom 드라이버에 대한 나쁜 경험이 있었으므로 첫 번째 제안은 다음과 같이 사용 가능한 네트워크 대역폭을 테스트하는 것입니다. dd if=/dev/zero bs=1m count=10k | rsh backup_host cat \> /dev/null