여러 컴퓨터에서 파일을 백업하고 보관하고 싶습니다. 불행하게도, 파일은 동일한 파일이지만 다른 시스템에 다르게 저장되는 일부 큰 파일을 가지고 있습니다. 예를 들어 한 대의 컴퓨터에서 다른 컴퓨터로 임시 백업으로 복사 된 사진 수백 장이있을 수 있습니다. 파일의 공통 저장소를 만들고자하므로 동일한 사진의 여러 사본을 원하지 않습니다.
이 모든 파일을 단일 디렉토리에 복사하면 중복 파일을 통해 인식하고 목록을 제공하거나 복제본 중 하나를 삭제할 수있는 도구가 있습니까?
답변:
dupemerge 를 사용 하여 동일한 파일을 하드 링크로 전환 할 수 있습니다 . 그것은 걸릴거야 아주 오랜 시간이 비록 큰 파일 세트. 파일의 SHA (또는 MD5) 해시는 거의 확실하게 작동하지만 복제본을 찾는 데 더 많은 노력을 기울여야합니다. 우발적 인 충돌 가능성은 너무 낮아 실제로 무시할 수 있습니다. 실제로 많은 중복 제거 제품이 이미이를 수행하고 있습니다.
사진과 음악을 다루는 가장 좋은 방법은 특히 해당 항목의 복제본을 찾도록 맞춤화 된 도구를 얻는 것입니다. 특히 태그 지정 또는 자르기 또는 인코딩 차이와 같은 항목이 재생 된 후 이진 수준에서 동일한 파일이 없을 수 있습니다. 파일을 약간 조정 한 경우에도 똑같이 "보이는"사진과 "소리 나는"음악을 찾을 수있는 도구가 필요합니다.
hardlink매우 빠른 (1.2M 파일, 320기가바이트 200 초가 소요)
글쎄, 당신이 능력이 있다면, 중복 제거 파일 시스템을 설정하고 그 위에 백업을 넣을 수 있습니다. 이것은 전체 파일뿐만 아니라 유사한 파일 조각을 중복 제거합니다. 예를 들어, 여러 곳에 동일한 JPEG가 있지만 각 버전에 다른 EXIF 태그가있는 경우 중복 제거 파일 시스템은 이미지 데이터를 한 번만 저장합니다.
중복 제거 파일 시스템에는 lessfs, ZFS 및 SDFS가 포함됩니다.
rsync --link-dest은 읽기 / 전송도 절약하고 싶은 친구입니다. 간단한 소개는 다음과 같습니다. netfuture.ch/2013/08/…
이런 종류의 일을 할 때 몇 주 동안 자유 시간에 파일을 실제로 직접 읽는 것이 훨씬 더 매력적이며 시간 효율적이라는 것을 알게되었습니다. 컴퓨터가 할 수있는 것보다 더 나은 점을 구별 할 수 있습니다.
동의하지 않으면 EasyDuplicateFinder를 제안 합니다 . 위에서 언급했듯이 5GB의 파일에는 약 하루가 소요됩니다.
그리고 Crashplan은 이전에하던 일을 훨씬 더 체계적이고 비버 전화 문제로 수행합니다.
백업 할 머신이이를 지원한다고 가정 할 때와 같은 다른 가능성이 있습니다 rsync.
당신이 만약 rsyncA로부터 B에, 다음 C에서 B로, 다음 D에서 등 B에, 정확한 중복 (즉, 파일 이름에 의해) 제거 될 것이다 (그리고 시스템이 백업하는 사이에 동기화).
그러나 서로 동기화하지 않으려면 이것이 최선의 방법은 아닙니다.
하드 링크는 전체 파일이 동일한 경우에만 중복 제거를 수행합니다. 헤더 (EXIF, ID3,…) 또는 메타 데이터 (소유자)가 다르면 연결되지 않습니다.
블록 중복 제거 지원 (ZFS, btrfs 등)이있는 파일 시스템을 사용할 가능성이있는 경우이를 대신 사용하십시오. btrfs 의 오프라인 ( 일괄 처리 ) 중복 제거 지원을 매우 좋아 합니다. 이는 확장 수준 중복 제거를 지원하고 지속적으로 대량의 메모리를 소비하지 않습니다 (ZFS 온라인 중복 제거).
중복 제거는 또한 다른 사본 통지없이 사용자가 파일을 수정할 수 있다는 이점이 있습니다 (이 경우에는 적용되지 않지만 다른 경우에는 적용되지 않을 수 있음).
훌륭한 토론 은 https://btrfs.wiki.kernel.org/index.php/Deduplication 을 참조 하십시오 .