보관 용 버전은 어떻게 대용량 파일을 업로드 / 업로드합니까? [닫은]


28

무료 Dropbox 계정 (2GB)이 있으며 대용량 파일의 버전 관리가 어떻게 작동하는지 궁금했습니다.

1GB가 넘는 사이트에있는 모든 웹 파일의 전체 백업이 있습니다. 1GB의 초기 업로드 후, 동기화 할 때마다 파일의 델타를 드롭 박스에서 알아 내거나 버전 전체를 다시 업로드해야합니까?

항상 최신 버전의 대용량 파일을 사용하는 것이 좋지만 매번 1GB를 업로드하는 대역폭을 죽이고 싶지 않습니다.

이것이 가능한가?

감사,

답변:


36

Dropbox는 이진 diff 알고리즘을 사용하여 모든 파일을 블록으로 나누고 아직 클라우드에없는 블록 만 업로드합니다. 이 모든 것은 컴퓨터에서 로컬로 수행됩니다.

Dropbox는 이미 업로드 한 파일을 사용하는 것이 아니라 모든 파일을 하나의 블록 데이터베이스로 모으고 각 로컬 블록 해시를 해당 데이터베이스와 비교하여 확인합니다.

즉, 다른 사람이 자신과 동일한 파일 (예 : 최신 Ubuntu ISO)을 업로드 한 경우 업로드 할 내용이 없어도 업로드가 즉시 보이지만 백업 파일이 있으면 변경 사항 만 업로드됩니다. 완전히 고유 한 파일을 업로드하는 경우 모든 파일이 업로드 될 때까지 기다려야합니다.


4
이것에 대한 언급이 있습니까? 꽤 흥미 롭습니다
STW

1
Dropbox 팀은 항상 포럼에서 이야기하고 있습니다 (특히 Arash F는 요즘 매우 바쁩니다).
Moo

3
이는 암호화 된 파일 (예 : TrueCrypt 볼륨)의 변경된 블록 만 업로드한다는 의미입니까?
Will M

1
Will-예, 꽤 많은 사람들이 Dropbox 폴더 내에서 TrueCrypt를 큰 성공으로 사용한다고 생각합니다.
Moo

1
당신의 마지막 부분은 더 이상 사실이 아닙니다. '드롭 쉽 (Dropship)'붕괴 이후에 변경되었습니다. 그것들은 여전히 ​​내부적으로 중복 제거 될 가능성이 있지만, 지금 "windows8.iso"(적어도 누군가가 이미 수행 한 것)를 폴더에 넣으면 모든 바이트를 업로드해야합니다.
DanO

10

가치가있는 점으로, Dropbox는 각 파일의 4MB마다 해시를 생성한다고 주장합니다. 이렇게하면 100MB 파일의 연속 2MB를 변경하는 경우 파일을 다시 동기화하기 위해 4MB (또는 두 번째 4MB 블록으로 넘어가는 경우 8MB) 만 업로드하면됩니다.

우리가 사용하는 해시는 4MB 파일 청크에만 해당됩니다.

출처 : https://blogs.dropbox.com/tech/2016/05/inside-the-magic-pocket/


그러나 4MB가 압축 및 기타 작업 전후인지 여부는 확실하지 않습니다.
Walter Tross

2

또한 파일을 변경할 때 전체 파일을 한 번에 업로드하지 않는다는 점을 강조하는 것도 중요합니다. 예를 들어, 고유 한 파일 가중치가 2GB 인 경우 보유하고있는 암호화 된 디스크 드라이브 (예 : truecrypt 또는 pgpdisk를 사용하는 경우)에 대해 암호화 된 디스크 내에서 파일 몇 개만 변경하면 보관 용 계정에 블록 만 업로드됩니다 효과적으로 바뀌 었습니다. 예를 들어, 2GB의 pgpdisk 파일을 dropbox에 업로드 한 다음이 2GB의 100MB를 변경하면 dropbox는 변경된 내용 만 감지하고 업데이트 할 수있을 정도로 지능적 입니다. 따라서 이미 존재하는 업로드 대역폭을 업로드하지 않아도됩니다.

dropbox 팀이 작업하고있는 또 다른 기능은 dropbox가 로컬 네트워크에서 실행중인 dropbox의 다른 인스턴스를 감지하고 정보를 동기화하는 것입니다. 예를 들어 랩톱과 데스크톱이 있고 둘 다 동일한 보관 용 계정이 있고 데스크톱에서 파일을 업데이트하고 랩톱을 연결하지 않고 데스크톱을 "클라우드"와 즉시 동기화합니다. 클라우드에서 Dropbox는 대신 데스크탑 컴퓨터에서 직접 diff를 다운로드하고 다운로드 대역폭을 낭비하지 않습니다. 이것은 여전히오고있다 – 그러나 감미로운 특징 일 것이다!


1
주말 동안 P2P 동기화 기능을 갖춘 실험적인 빌드를 출시했습니다.
Moo

1
이제 안정적인 기능입니다.
Wiliam
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.