어느 것이 더 빠르며 왜 작은 파일 몇 개 또는 큰 파일 몇 개를 전송합니까?


17

곧 수천 개의 파일이있는 폴더가 생길 것입니다. 각 파일은 몇 KB 정도입니다. 하나의 UNC 공유에서 다른 UNC 공유로 Windows 네트워크를 통해 이들을 전송해야합니다. 일반적으로 파일을 대량으로 복사하는 것이 더 빠릅니까? 아니면 가장 빠른 모드에서 7zip을 사용하여 파일을 압축하고 하나 또는 몇 개의 큰 파일을 보내는 것이 더 빠릅니까? 아니면 실제로 차이가 없습니까?

답변:


37

전송 협상의 오버 헤드로 인해 많은 작은 파일 대신 하나의 큰 파일을 전송하는 것이 더 빠릅니다. 협상은 각 파일에 대해 수행되므로 단일 파일 전송은 한 번만 수행하면됩니다. n 개의 파일을 전송하면 n 번 수행해야합니다.

당신이 전송하기 전에 먼저 우편하면 많은 시간을 절약 할 수 있습니다.


1
en.wikipedia.org/wiki/Slow-start 는 대용량 파일도 선호합니다.
사령관 Keen

4
압축에도 시간이 걸린다는 점을 고려하십시오. 데이터를 압축 할 수없는 경우 (예 : JPEG, ZIP, JAR 및 기타 압축 된 형식) 데이터를 압축하거나 압축하지 않은 ZIP 만 사용해야합니다. 이렇게하면 데이터를 추가로 압축하려는 무의미한 시도에 대한 CPU 시간이 절약됩니다.
Daniel Schneller

작은 파일이 많고 각 패킷마다 SMB 핸드 셰이크를 수행하는 경우 작은 파일이 많으면 압축 시간이 60 % 줄어 듭니다.
user2278

부분 아카이브를 복사 / 추출 할 수 있으므로 TAR의 경우 +1입니다.
Cristian Vat

이 답변은 정확하지만 Windows 7 (적어도)에서는 XP에서 정확히 동일한 파일 집합을 복사하는 것이 Windows 7보다 훨씬 빠른 알려진 버그가 있습니다 . social.technet.microsoft.com/Forums/en-US/ w7itproperf / thread /…
tbone

5

Jon Cahill은 매우 정확하며 단일 파일이 더 빠릅니다. 그러나 연결이 불안정하면 개별 파일 (또는 zip 파일의 중간 크기 그룹)이 더 나을 수 있습니다. 전송이 실패하면 여러 번 다시 시작해야하기 때문에 다시 시작해야하기 때문입니다. 마지막으로 시작한 파일을 다시 실행하면됩니다


5
전송 프로토콜이 재개되지 않는 한
Unkwntech

1

작은 파일이 많을수록 하나의 큰 파일보다 파일 시스템에 쓰는 데 더 많은 비용이 듭니다. 다음과 같은 작업을 수행해야합니다.

  • 파일 이름이 고유한지 확인하십시오
  • 파일 테이블 항목을 작성하십시오

디렉토리에 점점 더 많은 파일을 가져 오면 비용이 많이들 수 있습니다. 그리고 이러한 각 단계는 복사 프로세스에 대기 시간을 추가하고 전체 속도를 늦출 수 있습니다.


1
대상 시스템에 작은 파일이 모두 필요하기 때문에 나중에 압축을 풀어야 할 것입니다. 즉 파일 시스템이 여전히 작업을 수행해야합니다. 그러나 큰 파일을 보내고 압축을 풀면 여전히 작은 파일을 모두 net을 통해 전송하는 것보다 훨씬 빠릅니다.
BlaM

@BlaM, 대답에서 말했듯이 모두 대기 시간에 이릅니다. 네트워크 대기 시간이 각 CreateFile 작업에 추가되면 총 시간이 훨씬 길어질 수 있습니다. 복사본이 동시에 파일을 생성 할만큼 똑똑하다면 작업에 영향을 미치지 않을 것입니다.
Luke Quinane

0

평균 파일 크기에 대한 평균 패킷 크기는 아마도 여기서 중요합니다. 작은 파일이 많으면 작은 패킷을 많이 보낼 수 있습니다. 작은 패킷에는 여전히 TCP 오버 헤드가 발생합니다. 결과적으로 트래픽 양이 두 배로 증가 할 수 있습니다.

최신 시스템과 비교적 오래된 시스템은 단일 TCP 연결을 통해 여러 파일을 보낼 수 있으므로 핸드 셰이크 비용을 피할 수 있습니다.


0

내가 찾은 것, 그러나 빠른 전송을 원하면 로컬 컴퓨터에서 전송을 시작하고 로컬 드라이브로 복사하십시오.

즉, \ computer1 \ myshare를 c : \ files \ myshare로 복사하고 세 번째 컴퓨터를 사용하지 말고 \ computer1 \ myshare에서 \ computer2 \ mynewshare로 복사하십시오.


0

또한 프로토콜 선택은 전체 호스트 시간에 영향을 미칩니다 (예 : 한 호스트에서 다른 호스트로의 FTP 파일)는 Windows 파일 공유를 사용하는 것보다 눈에 띄게 더 빠를 수 있습니다 (물론 도메인 권한 등도 마찬가지입니다) 잃어 버렸지 만 일부 상황에서는 허용 가능한 트레이드 오프가 될 수 있습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.