여러 scp 스레드를 동시에 실행 :
배경:
나는 종종 서버 파일 세트를 많이 미러링하고 있으며이 서버 파일에는 수천 개의 작은 1kb-3kb 파일 이 포함되어 있습니다. 모든 서버는 1Gbps 포트에 연결되며 일반적으로 다양한 데이터 센터에 분산됩니다.
문제:
SCP는이 작은 파일들을 하나씩 하나씩 전송하는데, 시간이 오래 걸리며, 내가 가지고있는 아름다운 네트워크 리소스를 낭비하고있는 것 같습니다.
해결책?:
나는 생각이 있었다; 파일을 같은 양으로 나누고 5-6 scp 스레드를 시작하는 스크립트를 작성하면 이론적으로 5-6 배 더 빠릅니다. 그러나 나는 리눅스 스크립팅 경험이 없다!
질문 :
- 언급 된 문제에 대한 더 나은 해결책이 있습니까?
- 이미 존재하는 것과 같은 것이 있습니까?
- 그렇지 않다면 나를 시작하거나 도와 줄 사람이 있습니까?
- 2 또는 3이 아니라면 리눅스 스크립팅을 배우기 시작하기에 좋은 곳은 어디입니까? bash처럼
의 중복 가능성 이 개 서버간에 신속하게 많은 수의 파일을 복사하는 방법
—
스콧 팩