이것은 이것과 관련 이 있지만 다소 다릅니다.
두 회사 사이트간에이 WAN 링크가 있으며 매우 큰 단일 파일 (Oracle 덤프, ~ 160GB)을 전송해야합니다.
우리는 전체 100 Mbps 대역폭 (테스트)을 얻었지만 TCP가 작동하는 방식 (ACK 등)으로 인해 단일 TCP 연결이 최대 크기를 초과하지 않는 것처럼 보입니다. 우리는 iperf 와의 링크를 테스트했으며 TCP Window Size를 증가시킬 때 결과가 급격히 변합니다. 기본 설정으로 ~ 5Mbps의 처리량을 얻습니다. WS가 클수록 최대 ~ 45Mbps까지 얻을 수 있지만 그 이상은 아닙니다. 네트워크 대기 시간은 약 10ms입니다.
호기심으로 인해 하나 이상의 연결을 사용하여 iperf를 실행했으며 그 중 4 개를 실행할 때 각각 ~ 25Mbps의 속도를 달성하여 사용 가능한 모든 대역폭을 채우는 것으로 나타났습니다. 따라서 키는 여러 동시 전송을 실행하는 것으로 보입니다.
FTP를 사용하면 상황이 악화됩니다. 최적화 된 TCP 설정 (높은 창 크기, 최대 MTU 등)을 사용하더라도 한 번의 전송으로 20Mbps를 초과 할 수 없습니다. 우리는 동시에 일부 큰 파일을 FTP로 시도했지만 실제로는 단일 파일을 전송할 때보 다 훨씬 나아졌습니다. 그러나 같은 디스크 병목 현상에서 4 개의 큰 파일을 읽고 쓰는 것이 곧 원인이기 때문에 범인은 디스크 I / O가되었습니다. 또한, 우리는 하나의 큰 파일을 더 작은 파일로 분할 한 다음 다시 합병 할 수없는 것처럼 보입니다 (적어도 허용 가능한 시간이 아닌 시간에 파일을 병합 / 복구 할 수는 없습니다). 전송).
여기서 이상적인 솔루션은 파일의 다양한 청크를 동시에 전송할 수있는 다중 스레드 도구입니다. eMule이나 BitTorrent와 같은 P2P 프로그램은 이미 존재하지만 단일 소스에서 단일 대상까지입니다. 이상적으로는이 도구를 사용하여 사용할 병렬 연결 수를 선택하고 파일의 여러 섹션간에 미친 듯이 점프하지 않도록 디스크 I / O를 최적화 할 수 있습니다.
누구든지 그런 도구를 알고 있습니까?
아니면 더 나은 솔루션이나 우리가 이미 시도하지 않은 것을 제안 할 수 있습니까?
추신 : 우리는 이미 테이프 / 디스크에 백업하여 물리적으로 대상으로 보내는 것을 생각했습니다. WAN이 문제를 해결하지 않으면 이것이 우리의 극단적 인 척도 일 것입니다. 그러나 AS Tanenbaum이 말했듯이 "고속도로를 손상시키는 테이프로 가득 찬 스테이션 왜건의 대역폭을 과소 평가하지 마십시오."