Linux에서 Linux로, 10TB 전송?

9

나는 이전의 비슷한 질문을 모두 보았지만 대답은 모든 곳에서 온 것처럼 보였으며 아무도 많은 데이터를 옮기지 않았습니다 (100GB는 10TB와 다릅니다).

하나의 RAID 배열에서 다른 기가비트 이더넷, 무료 백과 사전, XFS 파일 시스템 으로 이동해야하는 약 10TB가 있습니다. 나의 가장 큰 관심사는 이송이 중간에 멈추고 쉽게 재개 할 수 없다는 것입니다. 속도는 좋지만 전송을 보장하는 것이 훨씬 중요합니다.

일반적으로 tar와 netcat을 사용했지만 최근에 이동중인 RAID 어레이는 매우 비정상적이므로 프로세스 중간에 중단되면 복구하고 다시 시작할 수 있어야합니다. rsync를 보고해야합니까 ?

이것에 대해 조금 더 살펴보면 rsync가 너무 느릴 것이라고 생각하며 30 일 이상 이 걸리는 것을 피하고 싶습니다 . 이제 netcat으로 전송을 모니터링 / 다시 시작하는 방법에 대한 제안을 찾고 있습니다.

— 잃어버린 코드
소스

때로는 큰 파일 전송을 수행해야합니다 (그러나 10TB는 아닙니다.) rsync에는 많은 플래그가 있습니다.이 중 일부는 큰 파일 전송 성능에 영향을 줄 수 있습니다 (예 : --checksum 및 --archive는 속도가 느려질 수 있다고 생각합니다. 10TB를 전송할 때 큰 차이를 만들 것입니다.). 누구든지 이러한 큰 파일 전송의 성능을 최적화하는 데 유용한 옵션을 추천 할 수 있습니까? 튜닝이 --block-size=SIZE도움이 되겠습니까?

— Stefan Lasiewski

어쨌든 ssh 오버 헤드를 제거해야합니까?

— lostincode

1

수신 측에서 rsyncd를 설정 하시겠습니까? ssh 필요 없음

— cpbills

3

수신 측에서 클라이언트뿐만 아니라 수신 측에서도 rsync 데몬을 실행하십시오.

— 추후 공지가있을 때까지 일시 중지되었습니다.

2

한쪽에 rsync 데몬을 설정할 수없고 SSH에 갇혀 있으면 다음과 같이 덜 암호화 된 암호화로 암호화 오버 헤드를 줄일 수 있습니다. rsync -avz -e 'ssh -c arcfour'SOURCE DEST

— David

14

그래, rsync

홀수 볼 밖에서 DRBD의 비동기 기능이 최근에 나왔습니다.

— 케이지 넛
소스

1

Rsync의 경우 +1 리눅스에서 시스템 간 전송의 왕.

— grufftech

+1, rsync (및 Windows 대응 DeltaCopy)는 효율적인 서버 대 서버 일반 파일 복제의 끝입니다.

— Chris S

1

rsync의 경우 +1이지만 rsync 또는 SSH 프로토콜 오버 헤드가 발생하는 대신 NFS 마운트를 통해 "로컬로"수행하는 것이 더 빠를 수 있다고 덧붙였습니다.

— James Sneeringer

2

테이프로 가득 찬 스테이션 왜건의 대역폭을 과소 평가하지 마십시오. 10TB는 비교적 저렴한 소비자 급 NAS 장비로 실현 가능할 것입니다 (예 : 2TB). 이것이 일회성이라면 반 수동 프로세스가 실행 가능할 수 있으며 2TB NAS는 수백 달러에 불과합니다.

진행중인 프로세스가 필요한 경우 초기 전송을 완료 한 후 RSYNC를 설정할 수 있습니다.

— 우려 TunbridgeWells
소스

원래 질문은 이것이 이미 로컬 네트워크를 통해 이루어 졌다고 언급했습니다.

— Ladadadada 2016 년

1

OP의 목적에 비해 너무 느리고 신뢰할 수없는 것으로 보입니다.

— ConcernedOfTunbridgeWells

2

몇 달 전에 이런 종류의 일을해야했습니다. 병렬 rsync를 사용하여 프로세스 속도를 높였습니다. 파일을 분할하여 전송 / 동기화하고 언제든지 다시 시작할 수 있습니다. 병렬 rsync 스크립트는 아래 링크를 참조하십시오.

https://gist.github.com/rcoup/5358786

— 피에르 버그 돌트
소스

0

복사 할 데이터로 서버에서 FTP 서버를 설정하고 수신 측에서 "재개"가있는 FTP 클라이언트를 사용할 수 있습니다. 필자는 Filezilla 서버와 클라이언트를 사용하며 클라이언트의 "재개"기능을 자주 사용하며 항상 장애없이 작동했습니다.

— 제임스
소스