비정상적인 연결에서 S3에 큰 파일을 업로드하는 방법은 무엇입니까?

S3 버킷에 업로드해야하는 많은 파일 (500MB ~ 7GB)이 있습니다. 내 연결이 매우 벗겨졌습니다.

통해 500MB 파일을 업로드하려고 시도했지만 s3cmd91 %가 완료된 후 시간이 초과되었습니다 (16 시간 소요).

나는 CyberDuck으로 시도했지만 같은 일이 일어났습니다. 20 % 정도 후에 실패했으며 전송을 다시 시도 할 때 처음부터 다시 시작되었습니다. CyberDuck은 여러 부분을 지원해야하지만, 그렇지 않은 것 같습니다 ...

파일을 다음과 같이 작은 파일로 분할 할 수 있습니다. .zip 파일을 여러 세그먼트로 분할하는 방법은 무엇입니까? , 그러나 그것이 내 유일한 선택이 아닌 한 오히려 아닙니다. 이력서 지원을 통해 큰 파일을 S3에 업로드 할 수있는 좋은 프로그램은 무엇입니까?

방금 s3tools (s3cmd-1.5.0-rc1)를 사용해 보았습니다. FAQ http://s3tools.org/kb/item13.htm 에서 힌트를 얻었습니다 . 아래를 참조하십시오.

s3cmd는 멀티 파트 업로드를 지원합니까?

예. 최신 버전의 s3cmd는 Amazon S3 멀티 파트 업로드를 지원합니다.

멀티 파트 업로드는 업로드 할 파일이 15MB보다 큰 경우 자동으로 사용됩니다. 이 경우 파일 크기가 15MB 인 여러 부분으로 분할됩니다 (마지막 부분은 더 작을 수 있음). 그런 다음 각 부품이 개별적으로 업로드 된 다음 전송이 완료되면 대상에서 재구성됩니다.

이 새로운 기능을 통해 부품 업로드에 실패한 경우 이미 업로드 된 다른 부품에 영향을주지 않고 다시 시작할 수 있습니다.

s3cmd에는 멀티 파트 업로드와 관련된 두 가지 옵션이 있습니다. 그들은:

--disable-multipart

모든 파일에 대해 멀티 파트 업로드 비활성화

과

--multipart-chunk-size-mb = SIZE

멀티 파트 업로드의 각 청크 크기. SIZE보다 큰 파일은 멀티 스레드 멀티 파트로 자동 업로드되고 작은 파일은 기존 방법을 사용하여 업로드됩니다. SIZE는 메가 바이트 단위이며 기본 청크 크기는 15MB, 최소 허용 청크 크기는 5MB, 최대 5GB입니다.

업로드 할 때 가장 작은 청크 크기를 선택합니다. 아래는 업로드 분할 및 재개입니다.

$ s3cmd put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 1 of 52, 5MB]
 5242880 of 5242880   100% in  164s    31.08 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 2 of 52, 5MB]
 5242880 of 5242880   100% in  193s    26.46 kB/s  done
some_video.mp4 -> s3://some_bucket/some_video.mp4  [part 3 of 52, 5MB]
 2023424 of 5242880    38% in  135s    14.59 kB/s^CERROR: 
some_video.mp4' part 3 failed. Use
  /usr/local/bin/s3cmd abortmp s3://some_bucket/some_video.mp4 XXX_SOME_HASH_XXX
to abort the upload, or
  /usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put ...
to continue the upload.
See ya!

그런 다음 다시 시작합니다.

/usr/local/bin/s3cmd --upload-id XXX_SOME_HASH_XXX put --multipart-chunk-size-mb=5 some_video.mp4 s3://some_bucket/

전송 창에서 Cyberduck을 믿으면 마우스 오른쪽 버튼을 클릭하고 이력서를 선택할 수 있습니다.

그래도 작동하지 않으면 Cloudberry는 업로드 재개를 지원합니다.

FileZilla Pro를 사용하여 S3 버킷과 파일을주고받을 수 있습니다. FileZilla Pro는 멀티 파트 업로드를 지원하며 실패 할 경우 전송을 다시 시작합니다.

레코드에는 대용량 파일 지원, 대량 전송, 필터, 디렉토리 비교, 원격 파일 검색, 끌어서 놓기, 속도 제한 구성 등 많은 다른 기능이 제공됩니다.

저는 FileZilla Pro 팀의 멤버입니다.

https://filezillapro.com 및 https://youtube.com/c/FileZillaPro 에서 자세히 알아보기