네트워크를 통해 20TB 데이터를 전송하려면 어떤 프로그램을 사용해야합니까?

10

20TB의 데이터를 벼락 배열에 복사해야합니다. 데이터가있는 상자에는 벼락 연결이 없으므로 로컬 1GB 네트워크를 사용해야합니다. (예, 시간이 오래 걸립니다).

Filezilla / sftp를 사용하려고 시도했지만 대기열이 너무 커지면 충돌했습니다. rsync 또는 scp가 갈 길입니까?

data-transfer thunderbolt rsync

— 라킨 다
소스

2

기존 장치에서 드라이브를 꺼내서 직접 연결할 수 있습니까?

위의 의견에 동의하십시오. 물리적 전송은 가장 큰 대역폭을 갖습니다.

— Siyuan Ren

저는 rsync를 기반으로 한 멋진 GUI 유틸리티 인 Carbon Copy Cloner를 좋아합니다. 개발자는 rsync를 분기하고 많은 부분을 개선했습니다. 나는 속도 대 rsync 및 / 또는 tar 또는 다른 것에 대해 말할 수 없지만 모든 종류의 데이터 전송을 위해 이동해야합니다. 모든 데이터가 일단 말되고 완료되면 의심의 여지없이 알고 싶습니다. 그렇지 않으면 CCC가 알려줄 것입니다.

— Harv

Fedex에 대한 언급 이 없다는 것에 놀랐습니다 .

— tedder42

16

rsync는 좋은 방법입니다 (scp는 기능이 적을수록 거의 동일합니다). 이 -Z옵션 을 사용하여 zlib 압축을 활성화 할 수 있습니다. 드라이브 / 컴퓨터의 속도에 따라 압축되지 않은 상태로 전송하는 것보다, 예를 들어 네트워크 링크가 포화 된 경우보다 빠를 수 있습니다. 아카이브 모드 옵션을 -a사용하여 심볼릭 링크, 권한 및 작성 / 수정 시간을 유지하고 디렉토리를 재귀 적으로 복사 할 수 있습니다. 복사하는 내용에 따라 -E확장 된 속성과 mac 리소스 포크를 유지하는 것이 좋습니다 . 마지막으로 --progress진행 정보를 보여줍니다.

— 마이클 DM 드라이든
소스

11

rsync는 중단이있는 경우 복사를 다시 시작하는 데에도 좋습니다.

— Lee Joramo

3

@LeeJoramo에 이어, 실패한 전송이 중단 된 곳을 찾을 수있는 것이 매우 중요합니다. 이 큰 전송 은 어느 시점에서 실패 할 것이며 , 그 시점에서 진행 한 모든 것을 잃지 않도록해야합니다.

— blahdiblah

6

rsync만큼 편재하지는 않았지만 과거에는 "mpscp"라는 도구 호출을 사용했습니다.- http ://www.sandia.gov/MPSCP/mpscp_design.htm

Sandia National Labs는 SSH를 통해 실행되는 파일 복사 도구로, 가까운 시스템간에 고속 네트워크를 포화 시키도록 최적화되어 있습니다 (예 : 10Gb + 또는 Infiniband를 통해 연결된 같은 사이트에있는 두 대의 슈퍼 컴퓨터간에 테라 바이트 단위의 데이터 복사). 잘 작동하지만 설정하기가 약간 어려울 수 있습니다. 테스트에서 rsync보다 2x-3x 더 빠르게 실행되는 것을 쉽게 알았습니다.

— 이라 제
소스

3

rsync를 사용하고 rsyncd와 함께 사용하십시오. rsyncd없이 rsync를 사용하는 경우 ssh를 사용하지 않습니다. 이는 일종의 암호화를 사용한다는 의미입니다. 이전 컴퓨터에서 새 컴퓨터로 데이터를 복사하는 중일 수 있으며 이전 컴퓨터에는 기가비트 이더넷 링크를 포화 상태로 유지할만큼 충분히 빠르게 전송하기 위해 데이터를 암호화하는 CPU가 없을 수 있습니다. 두 방법을 모두 사용하여 파일 배치 전송을 테스트하고 어떤 방법이 더 빠른지 확인하십시오.

같은 이유로 rsync의 압축 옵션을 사용하기 전에 테스트하는 것이 좋습니다. 압축은 구형 하드웨어에서 시도 할 때 기가비트 이더넷 속도를 따라 가지 못할 수있는 CPU를 많이 사용하는 활동입니다. rsync는 15 살짜리 프로그램으로, 제 1 세계 국가에서도 대다수의 사람들이 전화 접속 모뎀을 통해 인터넷에 액세스했을 때 다시 쓰여졌습니다. 네트워크 대역폭과 CPU 트레이드 오프는 그와 크게 달랐습니다.

— 카일 존스
소스

rsync의 기본값은 ssh를 사용하는 것이 맞지만 이것이 유일한 옵션은 아닙니다. -e옵션을 사용하는 대신 rsh를 사용하도록 만들 수 있습니다 . 동일한 옵션을 사용하면 CPU 사용량이 적은 암호화 등을 사용하도록 ssh의 옵션을 변경할 수 있습니다 -e 'ssh -c arcfour,blowfish-cbc'. 이것이 현대 컴퓨터와 속도 차이를 만들지 여부는 모르겠지만 특히 20TB의 파일을 사용하면 빠른 벤치 마크가 가치가 있습니다.

— Michael DM Dryden

3

이 20Tb는 소수의 큰 파일 (예 : 비디오, 몬스터 데이터베이스) 또는 수백만 개의 작은 파일로 패키지되어 있습니까?

작은 파일이 많으면 다시 시작을 위해 rsync를 사용하거나 효율성을 위해 파이프 타르 스트림을 사용합니다 (로트에 대한 하나의 네트워크 연결, 실패하면 처음부터 다시 시작)

tar -cf - * | ( cd newhome; tar -xf - )

원격 폴더가 마운트되어 있어야합니다.

다른 인터페이스로 새 어레이를 직접 연결할 수 있습니까? 로컬 rsync는 ssh를 사용하지 않으므로 해당 실패 지점을 제거하십시오. 예, Firewire 800은 기가비트 이더넷보다 느리지 만 이더넷을 100 %로로드 할 수 없습니다. Firewire로 인해 속도가 더 빠를 수 있습니다. 참고로 박스가 충분히 가까이 있으면 파이어 와이어를 네트워크로 연결할 수도 있습니다. 시스템 환경 설정-> 네트워크에서 인터페이스를 추가하십시오.

— 폴
소스

0

또 다른 옵션은 Bittorrent Sync ( http://www.bittorrent.com/sync ) 를 시도하는 것 입니다. WAN을 통해 가족 구성원간에 가족 사진과 비디오를 동기화하는 데 사용했지만 로컬 네트워크에서 작동하지 않을 이유는 없습니다. 그것은 P2P 연결을 사용하므로 dropbox와 같은 것을 사용하려고 할 때와 같이 서버를 통해 데이터가 전송되지 않을 것입니다 (20TB의 보관 공간이 있거나 그렇게 많이 업로드하기를 오래 기다릴 생각은 아닙니다) 데이터!)

또한 여러 플랫폼에서 지원되므로 rsync 및 tar보다 유연성이 뛰어납니다.

— KenB
소스