btrfs 지원 백업 솔루션

이번 달 Oracle EL 14에서 btrfs가 생산을 시작하면서 (Linux fsc에서 fsck 작업 및 스크러빙과 함께)이를 활용하기 위해 현재 백업 솔루션을 재 설계 할 생각이었습니다. 10TB 미만의 소량의 데이터에 대해 수행하는 것은 상당히 정적입니다 (매일 1 % 미만 변경됨). 간단히 말해서 SMB / SOHO 백업 솔루션입니다.

백업이해야 할 일 :

1. 프로덕션 서버에서 ext [234] / XFS / JFS의 LVM 스냅 샷 수행
2. rsync백업 서버에서 변경된 데이터를 btrfs로 / transfer
3. btrfs 파일 시스템 스냅 샷
4. 여유 공간이 부족하면 오래된 스냅 샷 삭제

장점 :

• 모든 파일을 쉽게 사용할 수 있으며 압축 해제 또는 루프 마운트가 필요하지 않습니다.
• 과거 스냅 샷도 쉽게 사용할 수 있습니다 ...
• ... 따라서 읽기 전용 Samba 공유 (섀도 복사 지원)로 공유 할 수 있습니다
• 스냅 샷은 기록 중 복사 덕분에 최소 공간을 차지합니다 (변경없는 스냅 샷은 사실상 디스크에서 KiB가 거의 없음)
• 높은 백업 일관성 : 파일의 체크섬, 모든 데이터 스크러빙 및 내장 중복성

질문 :

• COW (Copy-On-Write) 파일 시스템을 인식하거나 쉽게 만들 수있는 백업 솔루션 (Bulula, BackupPC 등의 형태)이 있습니까?
• 아니면 가정 내 rsync솔루션 을 사용해야 합니까?
• 백업 전용 ZFS 박스를 가진 사람들은 Linux 시스템을 백업하기 위해 무엇을합니까?

지난주에 비슷한 것을 찾기 위해 광범위한 검색을 수행했습니다. 4 단계를 모두 수행 할 수있는 솔루션을 찾지 못했습니다. ' rsync to btrfs '유형의 백업 을 시도하는 가정 사용자의 블로그가 많이 있으며 모든 주요 Btrfs 위키는 Btrfs 스냅 샷 수행 방법을 다룹니다.

Btrfs 스냅 샷 을 회전시키는 다른 방법을 시도하는 사람들도 꽤 있습니다 . 그러나 디스크 공간을 기준으로 스냅 샷을 회전하려는 사람은 내가 처음 본 사람입니다. 나는 매시간, 매주 및 매월 스냅 샷을 만드는 btrfs-snap을 가지고 놀고 있으며 훌륭하고 간단합니다.

Dirvish 프로젝트는 요구 사항의 대부분을 충족 것으로 보인다. 일부 개발자는 Dirvish를 Btrfs와 통합 하려고합니다 . 그러나 Dirvish 프로젝트는 약간 지연된 것으로 보인다 .

이 시점에서, 당신은 곡선보다 앞서 있습니다.

Avi Miller (LinuxConf.AU에서의 대화)에 따르면 btrfs 전송 / 수신이 진행되고있다. 파일의 변경 사항을 찾기 위해 디렉토리를 탐색 할 필요가 없기 때문에 rsync보다 빠릅니다. 아직 릴리스 날짜가 예상되는지 모르겠습니다.

그러나 btrfs-progs에 내장 된 유틸리티는 snapshots / etc 사이에서 변경된 모든 파일을 나열합니다. btrfs subvolume find-new

BackupPC와 비슷한 OS 백업 시스템에서 작업하고 있습니다. 나는 이것에 대해 생각했다. 실제로 구현하지 못하게 한 것은 하위 볼륨간에 하드 링크 할 수 없다는 것입니다. 하위 볼륨의 스냅 샷 만 생성 할 수 있으며 백업 클라이언트 당 하나의 하위 볼륨 만 생성 할 수 있습니다. 따라서 파일 수준 중복 제거 기능은이 방법과 공존 할 수 없습니다. 그리고 파일 수준 중복 제거는 일반적으로 많은 공간을 절약합니다. 하나의 서버 만 백업 하시겠습니까?

btrfs에 블록 레벨 중복 제거 기능이있는 경우이 문제를 피할 수는 있지만 일반적으로 너무 느립니다.

그런 접근 방식은 물론 하나의 파일 시스템 (btrfs)과 긴밀하게 통합되므로 선택적인 기능이어야합니다.

이러한 소 기능 추가에 대해 생각하고 있기 때문에 묻고 있지만 위에 나열된 단점으로 인해 필요한지 모르겠습니다.

편집 : UrBackup 은 현재 리눅스 커널> = 3.6 (교차 볼륨 참조 링크 지원)으로 질문에 설명 된대로 백업을 지원합니다. 설정 방법을 참조하십시오 .

btrfs 위키 페이지 " 사용 사례 "에는 SnapBtr , Snapper, btrfs-time-machine, UrBackup과 같은 도구가 나열되어 있습니다 .

autosnap 이라는 내장 도구에 대한 제안이 있습니다 .

자동 스냅 기능을 사용하면 정기적 또는 이벤트 기반 스냅 샷을 생성하고 스냅 샷을 자동으로 추가 관리하도록 btrfs를 구성 할 수 있습니다.

자동 스냅은 스냅 샷을 생성 할뿐만 아니라 생성 된 스냅 샷을 관리하는 것뿐입니다. 이제 파일 시스템 사용 공간을 기반으로 스냅 샷을 삭제하도록 자동 스냅을 구성 할 수 있습니다.

그러나 위키 는 2013 년 10 월 현재 "오토 스냅 기능은 현재 업스트림 버전의 btrfs에 포함되어 있지 않습니다"라고 말합니다.

나는 비슷한 좌절감을 느꼈기 때문에 snazzer 라고하는 몇 가지 스크립트를 만들었습니다 . 이들은 함께 ssh를 통한 스냅 샷, 프 루닝, 측정 및 전송 기능을 제공합니다 (오늘날 현재 로컬 파일 시스템과 송수신 할 수 있음). 측정은 sha512sum 및 스냅 샷 경로의 PGP 서명에 대한 보고서 일뿐입니다. 출시 준비가되었지만 아직 초기 단계에서 의견을 검토 할 시간이 있다면 의견을 듣고 싶습니다.

일반적으로 내가 대해 별도의 서브 볼륨이 - CLI는 전용이 시점에서,하지만 난 쉽게 많은 btrfs를 서브 볼륨에 시스템에서 사용할 수 있도록 시간을 촬영했습니다 /var/cache, /home/ 이하 더 스냅 샷 생성에서 제외 할 필요하거나 할 수 있습니다, 등 적극적인 가지 치기 일정.

제거 알고리즘이 순전히 스냅 샷 세트 및 날짜의 존재 여부를 결정하는 것이 두렵습니다. 디스크 사용량 제한이 충족 될 때까지 제거를 유지할 수있는 것은 없습니다. 먼저 삭제하는 것은 무엇입니까? 처음으로 시간을 줄입니까, 아니면 매일을 줄입니까? 아마도 가장 오래된 것을 떨어 뜨릴 것입니다. 매년? 배포마다 다른 우선 순위가 있습니다. 그리고 이것이 유일한 백업 계층인지 (이 경우 법적 / 보험 의무의 경우 가장 오래된 백업을 삭제해서는 안 됨) 중간 중간 백업인지 여부를 알 수 없습니다. 다른 곳).

ZFS 지원 및 / 또는 상호 운용성을 추가 할 예정입니다. 그것은 현재 "제로"의 의존성에 대한 강한 욕구 때문에 대부분 posix-ish 쉘과 펄로 작성되었으며, 언젠가는 깔끔한 파이썬 대체 구현이 병렬로 유지되기를 바랍니다.