블록 레벨 중복 제거 파일 시스템


8

일반 사용자 데이터 /home및 백업 과 같은 중복 제거 가능한 COW 파일 시스템 솔루션을 찾고 있습니다. SHA256 또는 TTH 와 같은 보안 해싱 (충돌 가능성이 거의 없음)을 사용하여 블록 수준에서 온라인 / 인라인 / 동기 중복 제거를 사용해야합니다 . 중복 블록은 디스크를 만질 필요도 없습니다.

아이디어는 /home/<user>백업과 같은 파일 시스템을 사용하여 외장 HDD에 복사 할 수 있어야한다는 것 입니다. 단순한. 스냅 샷 중 하나라도 손상되면 거의 모든 스냅 샷이 손상 될 수있는 증분 백업이 필요 없으며 특정 도구를 사용하여 스냅 샷을 삭제하거나 '체크 아웃'할 필요가 없습니다. 모든 것은 걱정없이 파일 브라우저에서 수행해야합니다. 이것이 얼마나 쉬운 지 상상할 수 있습니까? 다시 백업에 대해 두 번 생각할 필요가 없습니다!

성능 저하를 신경 쓰지 않고 안정성이 주요 관심사입니다. 특정의 구현으로,하지만 cp, mvscp,와 파일 브라우저 플러그인, 이러한 작업은 매우 빠르고, 그들은 단지 결석 블록을 전송해야하는 것처럼 중복이 많이있다 특히 것이다. 실수로 FS와 통합되지 않은 기존의 복사 도구를 사용하면 복제 데이터를 다시 읽고, 재전송하고 다시 해시 할 수 있기 때문에 원격 복사시 대역폭을 낭비하고 CPU를 낭비하게됩니다. 다시 작성)하지만 절대로 아무것도 손상 시키지 않습니다 . (일부 파일 공유 소프트웨어는 FS와 통합하여 이점을 얻을 수도 있습니다.)

가장 좋은 방법은 무엇입니까?

몇 가지 옵션을 살펴 봤습니다.

  • lessfs- 유지되지 않은 것처럼 보입니다. 좋은가요?
  • Opendedup / SDFS -Java? Android에서 이것을 사용할 수 있습니까?! SDFS 는 무엇 을 의미합니까?
  • Btrfs- 메일 링리스트 아카이브에 떠있는 일부 패치이지만 실제 지원은 없습니다.
  • ZFS - 희망 그들이거야 진정한 자유 / 오픈 소스 GPL 호환 라이센스하에 하루 라이선스 재설정.

또한 2 년 전 파일 수준에서 Fuse를 사용하여 EXT4와 같은 일반적인 FS 상단에서 사용하기 위해 Python을 사용하려고 시도했지만 Python에 대한 퓨즈가 문서화되어 있지 않고 구현하지 못했습니다. 모든 시스템 호출.


파일 시스템은 아니지만 최근에 출시 된 백업 도구 Obnam 을보고 싶을 수 있습니다 .
JanC

@JanC : 감사합니다. 백업 소프트웨어가 올바르게 완료된 것 같습니다. "스냅 샷 중 하나라도 손상되면 거의 모든 이후 스냅 샷이 거의 중단되는 증분 백업을 망칠 필요가 없습니다." "하지만 특정 도구를 사용하여 스냅 사진.". 확실히 좋은 발견! 일부 Python 코드로 작업 할 수 있습니다. :-)
James Haigh 2016 년

@JamesHaigh이 아이디어를 Ubuntu BrainStorm 에도 게시하고 싶을 수도 있습니다. 아직하지 않았다면.
Samik

@JamesHaigh Obnam 로드맵에있는 것 중 하나는 퓨즈 기반 파일 시스템입니다 (그러나 언제 그것을 기대해야하는지 타임 라인이 없다고 생각합니다). 그러면 "추가 도구가 필요하지 않습니다".
JanC

하나의 백업이 후자의 백업을 손상시키지 않도록하려면 단순히 여러 세대의 증분 백업을 수행하면됩니다. 예를 들어, 수요일에는 일요일에 전체를 수행하고 매일 차이를 기준으로하는 일일 차등을 수행하는 대신 수요일에 화요일보다 전체를 기준으로 증분 백업을 수행하십시오. 그런 다음 화요일이 손상된 경우 수요일 백업이있는 경우 복원 할 때 월요일과 화요일을 건너 뜁니다.
psusi

답변:


1

이것은 고가의 기업처럼 들린다.

datadomain은 데이터 중복 제거 및 wafl 파일 시스템과 함께 netapp를 제공합니다. 그러나 높은 비용으로.

"무료"대안은 zfs 일 수 있습니다.

비록 나에게 따르면 "최고의"그리고 대부분의 리눅스 대안은 "블록 수준"대신 파일 수준이지만 rsnapshot 일 것입니다. rsync 및 하드 링크를 사용하여 버전 관리를 관리합니다.

오히려 사람들이 온갖 종류의 불쾌한 버그를 발견 할만큼 오래 걸리지 않은 Btrfs와 같은 새로운 파일 시스템을 사용하는 것보다 입증 된 오래된 도구를 신뢰합니다.


기업? 아니요, 미래의 우분투에서는 기본적으로 사용하기 쉽기 때문에 기본적으로 기대되는 것입니다. ZFS는 언급했지만 CDDL 이므로 Free는 대문자 F rsnapshot입니다. 파일 시스템이 아닙니다. 레거시 파일 시스템에 스냅 샷과 같은 기능을 제공하고 해킹이 더 많으며 '실제'스냅 샷을 생성하지 않습니다 (스냅 샷은 원자 적이어야합니다) )이며 증 분식입니다 (두 번째 단락 참조). 오히려 증분을 사용하는 것보다 비교적 새로운 FS를 사용하고 싶습니다.
James Haigh 2016 년

나는 '파일 수준'이 약간 모호하다고 생각하지만 파일 시스템의 맥락에서 블록 수준, 바이트 수준 및 비트 수준과 함께 사용되는 용어를 보았습니다. 이것이 내가 의미하는 맥락이었습니다.
James Haigh

1
@JamesHaigh에 따르면 자유 소프트웨어 재단 (Free Software Foundation) , CDDL은 라이센스 (자유로) 무료입니다, 그냥 GPL과 호환이 아니다 . 이는 공식 ZFS 구현과 같은 CDDL 코드와 Linux 커널과 같은 GPL 코드를 합법적으로 연결할 수 없으며 Linux의 드라이버는 일반적으로 모듈로 연결되므로 Linux 기반 운영 체제에서 CDDL 지원을 방해합니다.
Eliah Kagan

2
Linux의 ZFS (아는 사람에 따라 다름)는 별도로 배포 되어이 문제를 해결할 수 있습니다 . 또는 FUSE를 사용하면 파일 시스템 "드라이버"가 사용자 공간에서 커널에 연결할 필요가없는 사용자 공간에서 작동 할 수 있으며 FFS 버전의 ZFS도 있습니다 . 따라서 Linux를 커널로 사용하는 Ubuntu와 같은 운영 체제에서 ZFS 파일 시스템을 사용하기위한 여러 옵션이 있습니다. (데비안과 같은 일부 OS에서는 다른 커널을 사용할 수 있습니다.)
Eliah Kagan

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.