작은 파일 15TB 전송

한 서버에서 다른 서버로 데이터를 보관하고 있습니다. 처음에 나는 일을 시작했다 rsync. 5TB의 데이터에 대해서만 파일 목록을 작성하고 1TB의 데이터를 전송하는 데 1 주일이 걸렸습니다.

그런 다음 새 서버에서 가동 중지 시간이 필요하므로 작업을 중단해야했습니다.

우리는 아마도 다시 접근 할 필요가 없기 때문에 그것을 타르 겠다는 것에 동의했습니다. 나는 그것을 500GB 청크로 나누는 것을 생각하고있었습니다. 그 후 나는 tar그것을 통해 복사하려고했습니다 ssh. 나는 사용 tar하고 pigz있었지만 여전히 너무 느립니다.

더 좋은 방법이 있습니까? 두 서버가 모두 Redhat에 있다고 생각합니다. 기존 서버는 Ext4이고 새로운 서버는 XFS입니다.

파일 크기는 몇 KB에서 몇 MB까지이며 5TB에는 2,400 만 JPEG가 있습니다. 그래서 나는 15TB에 대해 약 6 천만에서 8 천만 정도를 추측하고 있습니다.

편집 : 며칠 동안 rsync, nc, tar, mbuffer 및 pigz로 재생 한 후. 병목 현상은 디스크 IO가됩니다. 데이터가 500 개의 SAS 디스크와 약 2 억 5 천만 jpeg에 걸쳐 스트라이핑됨에 따라. 그러나 이제는 앞으로 사용할 수있는 훌륭한 도구에 대해 배웠습니다.

tar, pigz(병렬 gzip) 및을 사용하여 매우 좋은 결과를 얻었습니다 nc.

소스 머신 :

tar -cf - -C /path/of/small/files . | pigz | nc -l 9876

대상 기계 :

추출하려면 :

nc source_machine_ip 9876 | pigz -d | tar -xf - -C /put/stuff/here

보관을 유지하려면

nc source_machine_ip 9876 > smallstuff.tar.gz

당신은 전송 속도를보고 싶다면 그냥 pv후 파이프 pigz -d!

rsync 솔루션을 고수했습니다. 최신 (3.0.0+) rsync는 증분 파일 목록을 사용하므로 전송하기 전에 전체 목록을 작성할 필요가 없습니다. 따라서 다시 시작하면 문제가 발생할 경우 전체 전송을 다시 수행 할 필요가 없습니다. 최상위 또는 두 번째 레벨 디렉토리마다 전송을 분할하면이를 더욱 최적화 할 수 있습니다. ( 네트워크가 드라이브보다 느린 경우 사용 rsync -a -P하고 추가 --compress합니다.)

VPN을 설정하고 (인터넷 인 경우) 원격 서버에서 일부 형식의 가상 드라이브를 만들고 (ext4로 설정) 원격 서버에 마운트 한 다음 로컬 서버에 마운트합니다 (iSCSI와 같은 블록 수준 프로토콜 사용) )를 사용하고 dd 또는 다른 블록 수준 도구를 사용하여 전송합니다. 그런 다음 자신의 편의에 따라 가상 드라이브의 파일을 실제 (XFS) 드라이브에 복사 할 수 있습니다.

두 가지 이유 :

1. 주요 성능 범인 인 파일 시스템 오버 헤드가 없음
2. 추구하지 않고 양쪽에서 순차적 인 읽기 / 쓰기를보고 있습니다.

기존 서버가 폐기되고 파일이 몇 분 동안 오프라인 상태 일 수있는 경우 드라이브를 기존 상자에서 꺼내 새 서버에 케이블로 연결하고 마운트하여 (지금 온라인으로) 파일을 복사하는 것이 가장 빠릅니다. 새 서버 기본 디스크에.

mbuffer를 사용하고 보안 네트워크에있는 경우 암호화 단계를 피할 수 있습니다.

(많은 다른 답변이 효과가 있습니다. 다른 답변이 있습니다.)

을 사용하여 파일 목록을 생성하고 find -type f(두 시간 내에 완료해야 함) 작은 청크로 분할 한 다음를 사용하여 각 청크를 전송하십시오 rsync --files-from=....

운동화를 고려 했습니까? 이를 통해 모든 것을 동일한 드라이브로 전송 한 다음 해당 드라이브를 물리적으로 옮겨야합니다.

약 한 달 전에 삼성은 16TB 드라이브 (기술적으로 15.36 TB)를 발표했으며 SSD이기도합니다 . 드라이브 16TB

나는이 드라이브가 이것에 대해 할 것이라고 생각합니다. 여전히 모든 파일을 복사해야하지만 네트워크 대기 시간이 없으며 SATA 또는 이와 유사한 빠른 기술을 사용할 수 있으므로 훨씬 빠릅니다.

중복 제거시 높은 성공률을 얻을 수있는 기회가 있다면 borgbackup 또는 Attic 과 같은 것을 사용합니다 .

그렇지 않은 경우 netcat + tar + pbzip2 솔루션을 확인하고 하드웨어에 따라 압축 옵션을 조정하십시오. 병목 현상 (CPU? 네트워크? IO?)을 확인하십시오. pbzip2는 모든 CPU에서 훌륭하게 확장되어 더 나은 성능을 제공합니다.

RedHat Linux를 사용하고 있으므로 적용되지 않지만 다른 옵션으로 사용하십시오.

inode가 문제가되지 않기 때문에 ZFS를 사용하여 수백만 개의 파일을 보유하는 데 큰 성공을 거두었습니다.

이것이 옵션이라면 스냅 샷을 찍고 zfs를 사용하여 증분 업데이트를 보낼 수 있습니다. 이 방법을 사용하여 데이터를 전송하고 보관하는 데 많은 성공을 거두었습니다.

ZFS는 주로 Solaris 파일 시스템이지만 illumos (Sun OpenSolaris의 오픈 소스 포크)에서 찾을 수 있습니다. BSD 및 Linux에서 FFS를 사용하여 ZFS를 사용하는 것도 운이 좋았지 만 시도한 경험이 없습니다.

rsync대상 시스템 에서 데몬을 시작하십시오 . 이것은 전송 프로세스를 많이 가속화합니다.

tar와 ssh로 다음과 같이 할 수 있습니다 :

tar zcf - <your files> | ssh <destination host> "cat > <your_file>.tar.gz"

또는 개별 파일을 유지하려는 경우 :

tar zcf - <your files> | ssh <destination host> "tar zxf -"