S3fs 성능 향상 또는 대안?

EC2 서버에서 s3fs를 사용하려고 시도했지만 실제로 느립니다. 지난 5 시간 동안 100MB의 작은 파일을 업로드하는 데 보냈습니다.

성능을 향상시키기 위해 수행 할 수있는 작업이 있습니까, 아니면 S3fs와 관련이 있습니까? 그렇지 않은 경우 사용할 수있는 대안은 무엇입니까?

많은 양의 작은 파일에는 S3FS가 최선의 선택이 아닐 수 있습니다. S3FS의 오버 헤드도 상당히 높습니다. S3Curl 과 같은 것을 사용하는 것이 좋습니다.

병렬 전송도 가능합니다. EBS / 로컬 스토리지와 같이 빠르지 않을 것임을 기억하십시오.

'마운트 가능'스토리지로 사용해야하는 경우 S3FS의 유일한 대안은 S3Backer 또는 s3ql입니다.

방금 s3fs와 비교하여 riof를 벤치마킹했습니다. 내 테스트 사례는 발견 된 각 .png에서 pngquant를 실행하는 비교적 간단한 bash 스크립트였습니다. ~ 70 개의 이미지가있는 ~ 20 개의 이미지가있는 테스트 버킷에서 png (많은 서브 디렉토리에 분산되어 속도가 느려질 수 있음) :

s3fs : 3m54
riofs : 15.9 초

따라서이 테스트 케이스의 소멸은 ~ 15 배 빠릅니다! 문서는 다소 간결하지만 설정도 매우 간단했습니다.

스크립트가 여전히 15.9 초가 걸렸다는 사실과 관련하여 매우 효율적이지는 않지만 실제로 png에서 pngquant를 실행하는 것은 CPU를 많이 사용하는 프로세스입니다.

믹스에 riof 를 추가하기 만하면 됩니다. 현재로서는 벤치 마크를 볼 수 없었지만 누구나 할 수 있는 문제 / 요청 이 있습니다.

방금 s3fs의 성능 문제로 부분적으로 동기를 얻은 https://github.com/kahing/goofys v0.0.1을 릴리스했습니다. 파일 생성 속도는 3-6 배이고 첫 바이트까지 걸리는 시간은 58 배입니다. 피드백 환영합니다!

나는 [1]을 사용했고 매우 좋습니다. 많은 명령이며 aws 및 s3에 훨씬 쉽게 액세스 할 수 있습니다.

1. http://timkay.com/aws/

나는 s3fs와 riof를 비교하고 성능이 현저히 향상되어 거의 전환했습니다. 문제는 여전히 riof가 v4 서명으로 업데이트되지 않아 프랑크푸르트 또는 중국 s3 버킷에서 작동하지 않는다는 것입니다. 소유자에 따르면 업데이트가 진행 중입니다. 프랑크푸르트 나 중국을 사용하지 않는 경우 riofs를 사용하는 것이 좋습니다.

이것은 나이가 많지만 누가 여기에 오게 도와 줄 수 있습니다.

AWS CLI를 사용하고 있으며 매우 잘 작동합니다 (3Mb / s)

pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/