Linux에서의 블록 레벨 중복 제거


10

NetApp은 ASIS (block-level deduplication)를 제공합니다. 동일한 기능을 제공하는 Linux (또는 OpenSolaris, * BSD)의 파일 시스템 (FUSE 기반)도 알고 있습니까?

(하드 링크와 같은 허위 중복 제거에는 관심이 없습니다).

답변:


6

Linux의 경우 데이터 중복 제거 파일 시스템 인 lessFS를 확인하십시오. 아직 베타 버전이지만 시도해 볼 수 있습니다.

http://www.lessfs.com/

문안 인사,

MV


훌륭합니다! 여전히 베타 버전이지만 시작해야 할 부분입니다.
Benoît

7

중복 제거 기능이 OpenSolaris에서 ZFS에 제공되지만 현재 해당 기능을 사용할 수 없습니다.

지난 겨울 Jeff Bonwick과 Bill Moore가 프로토 타이핑했으며 올 여름에 통합 작업을하고 있습니다. 따라서 OpenSolaris의 다음 릴리스에서 사용할 수 있거나 개발 지점과 함께 플레이하려면 더 빨리 사용해야합니다.


@jlliagre의 답변을 참조하십시오-지금 가능합니다.
James Moore

4

데이터 중복 제거에 익숙하지 않은 사람들에게는 데이터가 파일 (또는 블록이라고 생각합니다) 수준에서 분석되고 파일 시스템 전체에서 동일한 파일 / 블록이 더 작은 토큰으로 대체되는 기술입니다. 이는 디스크의 유효 크기를 크게 줄이는 효과가 있습니다. copy-on-write 형식으로 간주 될 수 있습니다 . 위키 페이지 를 읽으십시오 .

Linux에서 중복 제거, 파일 또는 블록 레벨을 수행한다고 들었던 파일 시스템은 없습니다. 프로세서가 집약적이지만 이러한 짐승은 편리 할 것입니다.


4

이제 OpenSolaris (빌드 128a 이상)에서 ZFS로 중복 제거를 사용할 수 있습니다.


2

: 년 후, 그러나 여기 오픈 BSD에 대한 해결책은 전형이라고입니다 http://www.peereboom.us/epitome/을 . 자유 라이센스 인 경우 Linux 커널로 만들 수 있습니다.


1

방금 인라인 중복 제거를 수행하는 프로젝트를 게시했습니다. 당신 이 interrested 경우 여기 에서 볼 수 있습니다 . 퓨즈를 기반으로하며 Linux에서 실행됩니다.


0

나는 Linux 용 dedup의 무료 구현을 모른다. 중복 제거를 수행하는 VTL (Virtual Storage Library)과 함께 HSM (Hierarchical Storage Management) 시스템 사용을 권장하는 스토리지 공급 업체도 있습니다.

투명하지는 않지만 dedup보다 더 나은 결과를 제공 할 수 있는 Occarina 와 같은 시스템을 고려할 수도 있습니다 .


0

리눅스에서 중복 제거에 대한 뉴스가 없습니까? opendedup 은 선택이지만 Java 플랫폼을 실행하면 두통을 느끼고 싶지 않습니다. 나는 그것을 시도했지만,이 자바 머신과 나머지는 스토리지 응답 시간과 안전에 대한 나의 요구와 잘 어울리지 않습니다.


0

중복 제거 옵션은 Linux, 파일 시스템 BTRFS 및 ZFS에서 사용할 수 있습니다. BTRFS는 기본적으로 Linux에서 개발되었으며 오프라인 중복 제거 도구가 있습니다. 나는 '오프라인'을 생각하지 않고 fs를 마운트해야합니다. 오프라인은 활발하게 작성된 데이터가 중복 제거되지 않음을 의미합니다. 그러나 나중에 당신은 지금 저장된 중복 된 생각을위한 도구를 실행합니다. 실제로 도구는 베타 버전입니다. 다른 방법은 ZFS 안에 있습니다. FUSE 및 기본적으로 사용 가능 : http://zfsonlinux.org/ . 온라인 중복 제거를 수행하지만 불행히도 쓰기 속도가 느려져서 모두 계산해야하기 때문입니다. 온라인에서이 동작을 해제 할 수 있습니다. 중복 제거를 해제 한 후에도 중복 제거 된 모든 데이터는 여전히 중복 제거 된 상태로 저장됩니다. 새로운 쓰기는 '중복'으로 저장됩니다. 나중에 해당 데이터를 중복 제거하려면 중복 제거를 켜고 모든 '중복 된'파일을 다시 작성해야합니다.

페이지에서 사용 가능한 문서를 참조하십시오. 쓰기 및 읽기 속도를 높이려면 스토리지 풀에 더 빠른 장치를 추가 할 수 있습니다 (특히 SDD 드라이브 또는 더 빠른 플래시 USB는 장치 안정성에주의하십시오).


-2

DRBD 는 바로 그 일을하고 정말 잘합니다! Master / Slave 또는 Master / Master :-) 가능


중복 제거 문서를 알려주시겠습니까? drbd.org/home/feature-list에서 찾을 수 없습니다 .
Benoît 2016 년

저는 Antoine이 '중복'을 의미한다고 생각합니다. 이것은 실제로 당신이 찾고 있던 것이 아닙니다.
Matt Simmons

오, 내 나쁜, 중복과 중복 제거의 차이점은 무엇입니까?
Antoine Benkemoun

내 의견에 빠른 설명을했지만 본질적으로 중복은 데이터를 다른 호스트로 전송합니다. 중복 제거는 파일 전체에서 동일한 정보를 제거하여 효과적인 여유 공간을 증가시킵니다.
Matt Simmons
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.