파일 크기가 커질수록 큰 파일을 USB 드라이브로 복사하는 속도가 감소합니다

Linux 컴퓨터에 NTFS로 포맷 된 1.5TB Seagate USB 드라이브를 사용하고 있습니다.

70GB 파일을 드라이브에 복사하고 있습니다.

사본의 파일 크기가 더 낮은 속도로 증가하기 시작했습니다.

처음에는 파일이 약 19MB / s로 증가했습니다.

이제 대상 파일 크기가 60GB 인 경우 증가율은 약 5MB / s입니다.

이것에 기여할 수있는 요소는 무엇입니까?

내 생각 엔 캐시 (또는 원하는 경우 버퍼)입니다.

데이터의 첫 번째 청크는 캐시에 매우 빠르게 기록됩니다 (임시 디스크에 기록됨). 캐시가 가득 차서 전송 속도는 디스크에 대한 실제 전송 속도로 떨어집니다 (캐시 공간에서 디스크에 데이터가 기록되면 캐시에서 사용 가능 해짐)

표시되는 속도의 점진적인 감소는 전체 전송에서 평균 속도 일 수 있습니다. 전송 시간이 길어질수록 전송 비율이 실제 속도보다 낮으므로 평균 전송률이 낮아집니다.

그들은 그림이 1,000 개의 단어를 그립니다. 여기에 하나가 있습니다.

파란색 선은 실제 전송 속도이고 빨간색 선은 시작 이후 평균입니다. (이것들은 내가 머리에서 만든 예시 수치입니다).

흠, 말하기 어렵다.

소스 및 / 또는 대상 중 하나에서 다른 조각난 디스크 공간에 대한 기타 작업 각 사본에 대해 정확히 동일한 방식으로 작동합니까?

이것은 모든 새로운 녹색 및 저전력 드라이브가 너무 자주 머리를 파는 것을 좋아하는 방식으로 본 문제입니다.

위의 답변에서 언급 한 명백한 캐시 측면 외에도 Linux는 로컬 저장 장치와 USB 저장 장치를 다르게 처리합니다.

"클래식"디스크 (SATA를 통해 내부적으로 또는 eSATA를 통해 외부로 연결된)로 데이터를 전송할 때 Linux 커널은 DMA 모드를 사용합니다. 이는 전체 전송이 CPU를 포함하지 않고 RAM에서 디스크 컨트롤러로 직접 전송됨을 의미합니다.

이것이 SATA / eSATA 전송 속도가 빠른 이유입니다.

그러나 USB를 통해 동일한 디스크를 연결하면 각 킬로바이트의 데이터가 USB 디스크 케이스의 컴퓨터와 USB 컨트롤러간에 교환되는 64 바이트 패킷으로 분할됩니다. 이것은 DMA 모드가 아닌 CPU를 사용하여 수행해야합니다.

USB가 더 느린 이유입니다.

또한 Linux는 여러 측면 (디스크 / 파일 시스템 관련이 아닌)과 여러 계층에서 데이터를 캐싱하고 있다는 사실도 알고 있어야합니다. 100 개가 넘는 서로 다른 캐시가 있습니다.

따라서 더 큰 파일을 USB 디스크로 보내려고하면 프로세스 중에 더 많은 캐시가 채워집니다. 이는 비선형 전송 속도 저하의 원인입니다.