Linux에서의 블록 레벨 중복 제거


10

NetApp은 ASIS (block-level deduplication)를 제공합니다. 동일한 기능을 제공하는 Linux (또는 OpenSolaris, * BSD)의 파일 시스템 (FUSE 기반)도 알고 있습니까?

(하드 링크와 같은 허위 중복 제거에는 관심이 없습니다).

답변:


6

Linux의 경우 데이터 중복 제거 파일 시스템 인 lessFS를 확인하십시오. 아직 베타 버전이지만 시도해 볼 수 있습니다.

http://www.lessfs.com/

문안 인사,

MV


훌륭합니다! 여전히 베타 버전이지만 시작해야 할 부분입니다.
— Benoît

7

중복 제거 기능이 OpenSolaris에서 ZFS에 제공되지만 현재 해당 기능을 사용할 수 없습니다.

지난 겨울 Jeff Bonwick과 Bill Moore가 프로토 타이핑했으며 올 여름에 통합 작업을하고 있습니다. 따라서 OpenSolaris의 다음 릴리스에서 사용할 수 있거나 개발 지점과 함께 플레이하려면 더 빨리 사용해야합니다.


@jlliagre의 답변을 참조하십시오-지금 가능합니다.
— James Moore

4

데이터 중복 제거에 익숙하지 않은 사람들에게는 데이터가 파일 (또는 블록이라고 생각합니다) 수준에서 분석되고 파일 시스템 전체에서 동일한 파일 / 블록이 더 작은 토큰으로 대체되는 기술입니다. 이는 디스크의 유효 크기를 크게 줄이는 효과가 있습니다. copy-on-write 형식으로 간주 될 수 있습니다 . 위키 페이지 를 읽으십시오 .

Linux에서 중복 제거, 파일 또는 블록 레벨을 수행한다고 들었던 파일 시스템은 없습니다. 프로세서가 집약적이지만 이러한 짐승은 편리 할 것입니다.


4

이제 OpenSolaris (빌드 128a 이상)에서 ZFS로 중복 제거를 사용할 수 있습니다.


2

: 년 후, 그러나 여기 오픈 BSD에 대한 해결책은 전형이라고입니다 http://www.peereboom.us/epitome/을 . 자유 라이센스 인 경우 Linux 커널로 만들 수 있습니다.


1

방금 인라인 중복 제거를 수행하는 프로젝트를 게시했습니다. 당신 이 interrested 경우 여기 에서 볼 수 있습니다 . 퓨즈를 기반으로하며 Linux에서 실행됩니다.


0

나는 Linux 용 dedup의 무료 구현을 모른다. 중복 제거를 수행하는 VTL (Virtual Storage Library)과 함께 HSM (Hierarchical Storage Management) 시스템 사용을 권장하는 스토리지 공급 업체도 있습니다.

투명하지는 않지만 dedup보다 더 나은 결과를 제공 할 수 있는 Occarina 와 같은 시스템을 고려할 수도 있습니다 .


0

리눅스에서 중복 제거에 대한 뉴스가 없습니까? opendedup 은 선택이지만 Java 플랫폼을 실행하면 두통을 느끼고 싶지 않습니다. 나는 그것을 시도했지만,이 자바 머신과 나머지는 스토리지 응답 시간과 안전에 대한 나의 요구와 잘 어울리지 않습니다.


0

중복 제거 옵션은 Linux, 파일 시스템 BTRFS 및 ZFS에서 사용할 수 있습니다. BTRFS는 기본적으로 Linux에서 개발되었으며 오프라인 중복 제거 도구가 있습니다. 나는 '오프라인'을 생각하지 않고 fs를 마운트해야합니다. 오프라인은 활발하게 작성된 데이터가 중복 제거되지 않음을 의미합니다. 그러나 나중에 당신은 지금 저장된 중복 된 생각을위한 도구를 실행합니다. 실제로 도구는 베타 버전입니다. 다른 방법은 ZFS 안에 있습니다. FUSE 및 기본적으로 사용 가능 : http://zfsonlinux.org/ . 온라인 중복 제거를 수행하지만 불행히도 쓰기 속도가 느려져서 모두 계산해야하기 때문입니다. 온라인에서이 동작을 해제 할 수 있습니다. 중복 제거를 해제 한 후에도 중복 제거 된 모든 데이터는 여전히 중복 제거 된 상태로 저장됩니다. 새로운 쓰기는 '중복'으로 저장됩니다. 나중에 해당 데이터를 중복 제거하려면 중복 제거를 켜고 모든 '중복 된'파일을 다시 작성해야합니다.

페이지에서 사용 가능한 문서를 참조하십시오. 쓰기 및 읽기 속도를 높이려면 스토리지 풀에 더 빠른 장치를 추가 할 수 있습니다 (특히 SDD 드라이브 또는 더 빠른 플래시 USB는 장치 안정성에주의하십시오).


-2

DRBD 는 바로 그 일을하고 정말 잘합니다! Master / Slave 또는 Master / Master :-) 가능


중복 제거 문서를 알려주시겠습니까? drbd.org/home/feature-list에서 찾을 수 없습니다 .
— Benoît 2016 년

저는 Antoine이 '중복'을 의미한다고 생각합니다. 이것은 실제로 당신이 찾고 있던 것이 아닙니다.
— Matt Simmons

오, 내 나쁜, 중복과 중복 제거의 차이점은 무엇입니까?
— Antoine Benkemoun

내 의견에 빠른 설명을했지만 본질적으로 중복은 데이터를 다른 호스트로 전송합니다. 중복 제거는 파일 전체에서 동일한 정보를 제거하여 효과적인 여유 공간을 증가시킵니다.
— Matt Simmons
당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.