AWS S3 버킷에 그대로 디렉토리 구조 복사

AWS S3 cli를 사용하여 전체 디렉토리 구조를 S3 버킷에 복사하려고합니다.

지금까지 시도한 모든 내용이 파일을 버킷에 복사하지만 디렉토리 구조가 축소되었습니다. (즉, 각 파일은 버킷의 루트 디렉토리에 복사됩니다)

내가 사용하는 명령은 다음과 같습니다.

aws s3 cp --recursive ./logdata/ s3://bucketname/

또한 소스 지정 (예 : 인수의 사본)에 슬래시를 남기지 않았습니다. 또한 와일드 카드를 사용하여 모든 파일을 지정했습니다 ... 매번 시도하면 로그 파일을 버킷의 루트 디렉토리에 복사합니다.

동기화가 원하는 방법이라고 생각합니다. 대신 이것을 시도하십시오 :

aws s3 sync ./logdata s3://bucketname/

내가 직면했던 이 다음 명령 중 하나를 사용하는 동안 오류가 발생했습니다.

$ aws s3 cp --recursive /local/dir s3://s3bucket/
OR
$ aws s3 sync /local/dir s3://s3bucket/

나는 심지어 S3 버킷을 로컬로 마운트 한 다음 rsync를 실행하려고 생각했습니다. 심지어 수천 개의 파일이있어서 실패했습니다 (또는 몇 시간 동안 중단되었습니다).

마지막으로 s3cmd 는 매력처럼 작동했습니다.

s3cmd sync /local/dir/ --delete-removed s3://s3bucket/ --exclude="some_file" --exclude="*directory*"  --progress --no-preserve

이것은 작업을 잘 수행 할뿐만 아니라 콘솔에서 상당히 자세한 출력을 보여줄뿐만 아니라 큰 파일을 부분적으로 업로드합니다.

다음은 나를 위해 일했습니다.

aws s3 cp ~/this_directory s3://bucketname/this_directory --recursive

그런 다음 AWS는 this_directory모든 로컬 컨텐츠를 "만들고" 복사합니다.

폴더 구조를 복사하려면 다음 스크립트를 사용하십시오.

s3Folder="s3://xyz.abc.com/asdf";

for entry in "$asset_directory"*
do
    echo "Processing - $entry"
    if [[ -d  $entry ]]; then
        echo "directory"
        aws s3 cp  --recursive "./$entry" "$s3Folder/$entry/"
    else
        echo "file"
        aws s3 cp "./$entry" "$s3Folder/"
    fi
done

수천 개의 파일과 20 개가 넘는 하위 디렉토리가있는 55GB 폴더를 가져 s3 sync오거나 s3 cp작업 할 수 없었습니다 . 전체 폴더를 동기화하려고하면 버킷에 아무것도 업로드하지 않고 awscli가 자동으로 실패합니다.

모든 하위 디렉토리와 내용을 먼저 동기화하기 위해이 작업을 완료했습니다 (폴더 구조는 유지됨).

nice find . -mindepth 1 -maxdepth 1 -type d | cut -c 3- | while read line; do aws s3 sync $"$line" "s3://bucketname/$line"; done

그런 다음 최상위 레벨에서 30,000 개의 파일을 얻기 위해이 작업을 수행했습니다.

nice find . -mindepth 1 -maxdepth 1 -type f | cut -c 3- | while read line; do aws s3 cp "$line" "s3://bucketname/";

서버의로드를 확인하고 (로드를 w표시하는 데 사용할 수있는 팁 ) ctrl-z로드가 너무 높으면 명령을 일시 중단하십시오. ( fg다시 계속하기 위해).

비슷한 상황에있는 사람을 돕기 위해 여기에 두십시오.

노트:

-mindepth 1 제외하다 .

-maxdepth 1하위 디렉토리의 컨텐츠를 s3 sync성공적으로 처리 하므로 찾기가 하위 디렉토리의 컨텐츠를 나열하지 못하게 합니다.

cut -c 3- find에서 각 결과의 시작 부분에서 "./"를 제거합니다.

또는 minio client aka mc을 사용해보십시오.

$ mc cp Desktop/test/test/test.txt s3/miniocloud/Desktop/test/test/

도움이 되길 바랍니다.

추신 : 저는이 프로젝트의 공헌자 중 하나입니다.

( Shishir 솔루션 개선 )

• 다음 스크립트를 파일에 저장하십시오 (파일 이름 s3Copy.sh)

path=$1 # the path of the directory where the files and directories that need to be copied are located
s3Dir=$2 # the s3 bucket path

for entry in "$path"/*; do
    name=`echo $entry | sed 's/.*\///'`  # getting the name of the file or directory
    if [[ -d  $entry ]]; then  # if it is a directory
        aws s3 cp  --recursive "$name" "$s3Dir/$name/"
    else  # if it is a file
        aws s3 cp "$name" "$s3Dir/"
    fi
done

• 다음과 같이 실행 :
  /PATH/TO/s3Copy.sh /PATH/TO/ROOT/DIR/OF/SOURCE/FILESandDIRS PATH/OF/S3/BUCKET
  예를 들어 경우 s3Copy.sh홈 디렉토리에 저장하고 그때 내가 이것을 실행, 모든 파일과 현재 디렉토리에있는 디렉토리를 복사 할됩니다 :
  ~/s3Copy.sh . s3://XXX/myBucket

당신은 쉽게 다른 인수 할 수 있도록 스크립트를 수정할 수있는 s3 cp등 --include, --exclude...