S3에 업로드하는 것이 왜 그렇게 느립니까?

s3cmdS3에 업로드하는 데 사용 하고 있습니다.

# s3cmd put 1gb.bin s3://my-bucket/1gb.bin
1gb.bin -> s3://my-bucket/1gb.bin  [1 of 1]
  366706688 of 1073741824    34% in  371s   963.22 kB/s

지원에 따라 나가는 대역폭이 50Mb / s (약 6MB / s) 인 Linode에서 업로드하고 있습니다.

S3에 업로드 속도가 느린 이유는 무엇이며 어떻게 개선 할 수 있습니까?

최신 정보:

SCP를 통해 m1.medium EC2 인스턴스 (내 Linode에서 인스턴스의 EBS 드라이브로의 SCP)에 동일한 파일을 업로드하면 약 44Mb / s가됩니다 iftop(암호화에 의한 압축은 중요하지 않습니다).

Traceroute : 다음은 업로드중인 서버에 대한 추적 경로입니다 (에 따라 tcpdump).

# traceroute s3-1-w.amazonaws.com.
s3-1-w.amazonaws.com에 traceroute. (72.21.194.32), 최대 30 홉, 60 바이트 패킷
 1 207.99.1.13 (207.99.1.13) 0.635ms 0.743ms 0.723ms
 2 207.99.53.41 (207.99.53.41) 0.683ms 0.865ms 0.915ms
 3 vlan801.tbr1.mmu.nac.net (209.123.10.9) 0.397ms 0.541ms 0.527ms
 4 0.e1-1.tbr1.tl9.nac.net (209.123.10.102) 1.400ms 1.481ms 1.508ms
 5 0.gi-0-0-0.pr1.tl9.nac.net (209.123.11.62) 1.602ms 1.677ms 1.699ms
 6 equinix02-iad2.amazon.com (206.223.115.35) 9.393ms 8.925ms 8.900ms
 7 72.21.220.41 (72.21.220.41) 32.610ms 9.812ms 9.789ms
 8 72.21.222.141 (72.21.222.141) 9.519ms 9.439ms 9.443ms
 9 72.21.218.3 (72.21.218.3) 10.245ms 10.202ms 10.154ms
10 * * *
11 * * *
12 * * *
13 * * *
14 * * *
15 * * *
16 * * *
17 * * *
18 * * *
19 * * *
20 * * *
21 * * *
22 * * *
23 * * *
24 * * *
25 * * *
26 * * *
27 * * *
28 * * *
29 * * *
30 * * *

최소한 서버가 핑 요청에 대한 응답을 중지 할 때까지 지연 시간이 합리적으로 보입니다.

50mbps까지 올라갈 수 있다고해서 항상 50mbps를 얻을 수있는 것은 아닙니다. 대기 시간뿐만 아니라 S3에 대한 네트워크 경로도 중요합니다.

멀티 파트 업로드를 사용할 수있는 경우 파일을 여러 조각으로 나누고 여러 스레드를 사용하여 업로드하여 업로드 속도를 높일 수 있습니다.

누군가가 이것에 걸려 넘어 질 경우를 대비해서 ...

EC2 인스턴스에서 s3 버킷으로 업로드하는 것이 실제로 느린 문제가 발생했습니다. 버킷 영역은 정말 간단합니다. 나는 북 캘리포니아에서 ec2 인스턴스를 사용하고 있었고, 버킷이 표준으로 생성되었을 때 버킷이 북쪽 캘리포니아로 설정되어 힙이 더 빨랐습니다.

포럼에서 무료 명령 줄 도구 (Python, btw로 작성) 및 상용 도구와 같은 다양한 클라이언트를 사용하여 S3에 느리게 업로드하는 방법에 대한 많은 스레드를 보았습니다.

확실한 증거는 없지만 S3 클라이언트 (예 : Cloud Berry Explorer)를 전환하면 문제가 해결 될 수 있습니다. 시도 해봐! :)