로컬 네트워크에서 파일을 이동하면 압축 속도가 향상됩니까?

로컬 네트워크 (100 Mbit / sec) 내에서 20Gb를 이동 중입니다. 파일은 일반적인 Linux 데스크탑 시스템에서 가져온 것입니다.

Tar \ Gzip을 사용하여 압축 한 다음 성능을 향상 시키겠다는 메시지를 보내시겠습니까?

편집 : 많은 소스 및 PDF 및 많은 멀티미디어 의미하는 개발자의 작업 영역 이동 해요.

그것은 크게 당신이 이동하는 파일의 유형에 따라 다릅니다.

• 파일이 PDF, JPEG 무비, 설치 파일 등과 같은 경우,
  그들은 이미 압축되어있을 가능성이 크며 커다란 이점을주지는 않습니다.
• 소스 파일을 압축하면 매우 유용합니다.
• 작은 파일이 많으면 적어도 tar 아카이브가 유용 할 것입니다.

마지막으로, 소스 시스템이 많은 처리 능력과 메모리를 갖고 있다면,
유용한 시간에 압축이 가능합니다. tar (위의 사항을 근거로) 충분할 것입니다.

네트워크가 100Mbps에 불과하기 때문에 도움이된다면 압축을해야합니다.
그러나 압축 할 수없는 파일을 전송하는 경우,
전송 시간을 고려해야합니다.

또는 (USB / DVD와 같은) 전송을 위해 다른 매체를 고려할 수 있습니다.

파일 유형을 제외하고 이것은 특히 양 파일 수 대량 데이터 전송은 이론적으로 네트워크 속도에서 가능하지만 파일 및 속성을 열거하고 만들고 파일을 삭제하는 등 파일 시스템 작업과 관련된 많은 오버 헤드가 있습니다.

작은 파일이 많으면 오버 헤드가 전송할 데이터보다 커질 수 있습니다.

이러한 경우 전송하기 전에 데이터를 보관하는 것이 큰 이점이 될 수 있습니다. 압축 된 데이터 (압축 및 / 또는 이미 압축 된 데이터)가 심한 경우 많은 시간을 절약하기 위해 압축하지 말고 tar 만 사용하는 것이 좋습니다.

파일이 압축 가능한 경우 (압축되지 않은 비트 맵, 텍스트) 압축 할 수도 있습니다.

Nik은 정확합니다. 데이터에 따라 다릅니다. 일반적으로 말하기 :

• JPEG 사진, 동영상 및 음악은 tar 또는 zip으로 압축 될 가능성이 거의 없습니다. 이미 효과적으로 압축되어 있기 때문입니다.
• 텍스트 파일과 프로그램 바이너리를 압축하면 상당한 공간 (따라서 전송 시간)이 절약됩니다.

기술적으로 네, 근거리 통신망 주변에서 이득은 작을 것입니다.

기본적으로 네트워크 전송에서 대상이 정보를 수신 할 준비가되었는지를 요청하는 여러 단계를 거친 다음 일부를 보내고 확인을 수신했는지 확인합니다. 모든 개별 파일은 '새 파일 수신'과 '해당 파일 완료'라는 추가 단계를 생성합니다. 따라서 압축하면 압축 파일을 보내는 메시지가 수 백 또는 수천 개가 아닌 '새 파일 수신'메시지와 '완료된 파일'중 하나만 나타납니다.

LAN을 통해 파일을 압축 한 다음 전송하는 대신 시간이 오래 걸릴 수 있습니다. 전송 매체를 WAN으로 변경하고 지퍼를 사용하는 것이 좋습니다.

아마도 가장 빠른 기술은 데이터를 올려서 파이프를 통해 실행 한 다음 다른 끝에서 압축 해제하는 것입니다.

이 같은

$ tar -czf - root_dir | ssh -c blowfish remote_machine  (cd parent_dir ; tar -xzf -)

-z 플래그는 tar에 압축을 지정합니다. 압축은 별도의 gzip 단계와 매우 유사해야하며, 원하는 경우 별도로 포함하십시오.

다음에 데이터를 복사하거나 동기화해야하는 경우 rsync (-z는 압축을 제공)를 사용할 수 있습니다. 특히 위의 명령이 중단되면 rsync에서 데이터를 확인하고 누락 된 내용을 보냅니다.

ssh가 암호를 묻지 않으면 훨씬 더 깨끗하게되지만 암호로도 작동합니다.

압축은 원본 파일을 이동하는 것보다 실제로 압축 / 보내기 / 압축 해제하는 데 시간이 오래 걸릴 수 있습니다. 그러나 대용량 파일 몇 개를 여러 개의 매우 작은 파일보다 더 자주 보내므로 단일 파일로 압축 한 다음 전송하는 것이 좋습니다.

이전 답변뿐만 아니라 네트워크로드 및 다른 사용자에게 미치는 영향에 유의해야합니다. 이러한 양의 데이터의 경우 특히 동일한 데이터가 여러 대상으로 전송되는 경우 외장 드라이브를 전송 매체로 사용하는 것이 중요합니다.

예. 나는 이것을 경험하고이 방법을 사용하여 많은 양의 데이터를 백업한다. 파일을 복사하여 외장 하드 디스크의 파일을 복원하는 유일한 목적이라면 하나 또는 몇 개의 ZIP / rar 파일에있는 모든 파일 / 폴더를 압축하고 외장 드라이브에 복사하여 엄청난 시간을 절약 할 수 있습니다.

외부 드라이브에 하나의 큰 파일을 쓰는 것은 수백만 개의 작은 개별 파일을 작성하는 것보다 훨씬 효율적입니다.