Amazon S3를 사용하여 ~ 100gb 서버 이미지를 백업하는 데 관심이 있습니다 (Acronis 백업 도구를 통해 생성됨)
분명히, 매일 밤 S3에 업로드하는 것은 대역폭과 비용면에서 비쌀 것입니다. S3에서 rsync 사용을 고려하고 있으며 s3rsync 를 발견했습니다. 아무도 이것이나 다른 유틸리티를 사용한 경험이 있는지 궁금합니다.
답변:
최근 Google 에서이 스레드를 우연히 발견했으며 질문이 제기 된 이후 풍경이 약간 변경 된 것처럼 보입니다. 여기에 제안 된 대부분의 솔루션은 더 이상 유지 관리되지 않거나 상용화되었습니다.
FUSE와 함께 일하는 일부 좌절과 다른 솔루션 중 일부는 Python을 사용하여 S3 및 Google 스토리지에 대한 자체 명령 줄 rsync "clone"을 작성하기로 결정했습니다.
GitHub에서 프로젝트를 확인할 수 있습니다 : http://github.com/seedifferently/boto_rsync
내가 최근에 알게 된 또 다른 프로젝트는 "이중성"입니다. 좀 더 정교하게 보이고 여기에서 찾을 수 있습니다 : http://duplicity.nongnu.org/
도움이 되었기를 바랍니다.
최신 정보
AWS의 Python 팀은 클라우드 서비스를위한 보토 기반 CLI 프로젝트를 위해 열심히 노력하고 있습니다. 포함 된 도구 중에는 boto-rsync가 제공하는 대부분의 기능을 복제 (및 여러 가지 방법으로 대체)하는 S3 용 인터페이스가 있습니다.
https://github.com/aws/aws-cli
특히, sync명령은 rsync와 거의 동일하게 작동하도록 구성 할 수 있습니다.
http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html
Acronis 이미지 생성 방법에 따라 rsync가 대역폭을 절약 할 수 있는지 확신 할 수 없습니다. Acronis 이미지는 단일 파일이므로 rsync는 이미지를 읽어서 변경된 내용 만 백업 할 수는 없습니다. 또한 어떤 종류의 서버 이미지를 만들고 있는지 확실하지 않지만 100GB를 말한 이후 전체를 사용한다고 가정합니까? 증분 이미지는 야간 이미지 크기를 크게 줄여 대역폭을 절약합니다. 테이프 미디어와 같은 S3가 아닌 다른 위치에 이미지를 저장하고 오프 사이트에 저장하는 것도 고려할 수 있습니다.
S3에는 또한 AWS Import / Export라는 애드온 서비스가있어 초기 100Gb 데이터 세트가 포함 된 USB 드라이브를 전송할 수 있으며, 데이터 센터의 일부 백엔드 도구를 사용하여 S3 클라우드에로드 할 수 있습니다. 100Gb가 설치되면 매일 밤 차등 백업을 수행하여 변경된 모든 것을 백업 할 수 있습니다.
이 사이트는 http://aws.amazon.com/importexport/입니다.
대부분의 데이터가 상당히 정적 인 경우 이것은 100Gb의 전체 데이터가 매일 바뀌면 도움이되지 않는 좋은 옵션입니다.
minio client 일명 "mc"를 사용해 볼 수 있습니다 . mc는 Amazon S3 호환 클라우드 스토리지 및 파일 시스템과 함께 작동하는 최소한의 도구를 제공합니다.
mc는 다음 명령을 구현합니다.
ls List files and folders.
mb Make a bucket or folder.
cat Display contents of a file.
pipe Write contents of stdin to one or more targets. When no target is specified, it writes to stdout.
share Generate URL for sharing.
cp Copy one or more objects to a target.
mirror Mirror folders recursively from a single source to many destinations.
diff Compute differences between two folders.
rm Remove file or bucket [WARNING: Use with care].
access Manage bucket access permissions.
session Manage saved sessions of cp and mirror operations.
config Manage configuration file.
update Check for a new software update.
version Print version.
미러 명령을 사용하여 작업을 수행 할 수 있습니다. "localdir"은 로컬 디렉토리 및 S3 [Alias S3의 별칭] 및 S3에있는 버킷의 "remoteDir"이름입니다.
$ mc mirror localdir/ S3/remoteDir
같은 것을 위해 cronjob을 작성할 수도 있습니다. 또한 네트워크 장애가 발생할 경우 "$ mc session"을 사용하여 특정 시간부터 업로드를 다시 시작할 수 있습니다.
추신 : 나는 minio 프로젝트에 기여하고 당신의 피드백과 기여를 얻고 싶습니다. 도움이 되길 바랍니다.
새로운 Jungle Disk Server Edition (베타)이 유용 할 것입니다. 블록 수준 중복 제거 기능이 있으므로 Acronis 이미지에 공통적 인 것이 있으면 백업해야하는 양이 크게 줄어 듭니다. 이 기능은 서버 백업에 적합합니다. 릴리스 정보를 확인하십시오.
나는 2 주 동안 베타 테스트를 해왔으며, GUI와 관련된 몇 가지 작은 문제를 제외하고는 최종적으로 수정 될 것이라고 확신하며 제품에 대해 기대가된다.