리눅스 용 대용량 파일 (백업)을위한 안정적인 파일 시스템


18

백업에 가장 적합한 파일 시스템은 무엇입니까? 안정성 (특히 하드 재부팅 중 파일의 손상 불가능)에 주로 관심이 있지만 대용량 (> 5GB) 파일을 얼마나 효율적으로 처리하는지도 중요합니다.

또한 어떤 마운트 매개 변수를 사용해야합니까?

커널은 Linux> = 2.6.34입니다.

편집 : 나는 할 수 없습니다 백업 방법을 원한다. 저장할 파일 시스템이 필요합니다.


매일, 매주, 매월 얼마나 많은 데이터를 백업하고 있습니까? 얼마나 많은 데이터를 보관할 계획입니까?
Stefan Lasiewski

Linux 여야합니까? FreeBSD 8.1에서 ZFS (이전의 안정적인 버전 14)를 고려 했습니까?
Stefan Lasiewski

랩탑의 임시 백업 저장 장치이며 외장 하드 드라이브로 전송됩니다. FreeBSD 현재-훌륭한 시스템이지만이 응용 프로그램에는 적합하지 않습니다.
Maciej Piechotka

답변:


13

ext4 를 사용할 수는 있지만 journal_data이전 문제를 일으킨 할당 해제 (지연 할당)를 해제하는 모드로 마운트하는 것이 좋습니다 . 할당 해제를 비활성화하면 새로운 데이터 쓰기 속도가 느려지지만 정전시 쓰기 손실이 줄어 듭니다. 또한 journal_data약간 개선 된 읽기와 같은 다른 이점 (또는 적어도 ext3에서했던) 을 사용하지 않고 dealloc을 비활성화 할 수 있으며 복구가 더 좋다고 언급해야합니다 .

익스텐트는 여전히 조각화에 도움이됩니다. 익스텐트는 대용량 파일을 ext3보다 훨씬 빠르게 삭제합니다. 모든 크기의 데이터 (단일 파일)는 ext4에서 거의 즉시 삭제되지만 ext3에서는 시간이 오래 걸릴 수 있습니다. (범위 기반 FS는이 장점이 있습니다)

ext4는 fsckext3보다 빠릅니다.

마지막으로, ext4에는 2.6.31과 같은 버그 수정이 있었습니까? 기본적으로 LTS 커널 인 2.6.32 이전 커널을 실행하고 있지 않은지 확인합니다.


"견고한는"을지 경우 ext4는 mertis을 고려하는 가치가있을 수 있으며 그와 관련된 위험 on disk layout정지 따라서 데이터 안전 (목적은 discuded 여기에 )
humanityANDpeace

5

XFS는 견고하며 오랫동안 커널로 사용되었습니다. xfs_freeze와 같은 도구를 검사하고 원하는 도구인지 확인하십시오. 나는 이것이 매우 주관적이라는 것을 알고 있지만 XFS를 몇 년 동안 사고없이 데이터 스토리지에 사용했습니다.


2
내 대답에 따라 XFS는 익스텐트 기반이며 ext4와 동일한 이점을 많이 가지고 있습니다. 그러나 ext4가 가질 수있는 dealloc과 동일한 문제가 발생하여 플러그 풀 시나리오에서 데이터가 손실 될 수 있다고 언급하고 싶습니다. XFS에서 dealloc을 비활성화 할 수 있는지 여부를 모르겠습니다.
xenoterracide

예, 기능을 비활성화 할 수 있는지 확실하지 않지만 xfs_freeze 유틸리티는 안정적인 디스크 이미지를 보장합니다. 매뉴얼 페이지에서 : -f 플래그는 지정된 XFS 파일 시스템이 새로운 수정 사항에서 고정되도록 요청합니다. 이 옵션을 선택하면 파일 시스템에서 진행중인 모든 트랜잭션이 완료되고 새 쓰기 시스템 호출이 중지되고 파일 시스템을 수정하는 다른 호출이 중지되고 모든 더티 데이터, 메타 데이터 및 로그 정보가 디스크에 기록됩니다. 고정 된 파일 시스템에 쓰려고하는 모든 프로세스는 파일 시스템이 고정 해제되기를 기다리는 것을 차단합니다.
dsp

플러시가 작동하는 한 파일의 쓰기 중 손상에 대해 덜 걱정합니다.
Maciej Piechotka

3

체크섬을 지원하는 백업 도구 만 사용하십시오. 예를 들어 Dar 는 증분 백업을 지원합니다. 그런 다음 ext3과 같은 견고한 파일 시스템으로 백업 할 수 있습니다.

백업의 경우 견고하고 매우 안정적인 것을 원합니다. 그리고 btrfs 또는 ZFS는 오늘날 단순히 준비되지 않았습니다.


나는 그것을 ext3로 계산한다
Maciej Piechotka

0

btrfs에는 디스크에 기록 된 데이터의 투명한 체크섬과 항상 켜져있는 빠른 순서의 쓰기 모드 (및 다른 많은 백업 친화적 기능)가있어 백업에 적합합니다. 자세한 내용은 https://btrfs.wiki.kernel.org/index.php/Main_Page 를 참조하십시오.


흠. 장래에 좋은 대답 일지 모르지만 btrfs 또는 zfs가 Linux에서 안정적이라고 생각하지 않습니다.
Maciej Piechotka

커널 사용자가 btrfs를 추천했습니다. 마지막으로 Mercurial 관리자가 최소 한 대의 컴퓨터에서 상시 가동하고 있다는 것을 알았습니다. 나는 매일 FUSE를 통해 ZFS를 사용하며 FUSE 때문에 조금 느리면 견고합니다.
durin42

1
디스크 형식의 btrfs가 아직 안정적이지 않습니다 ... 변경 될 때까지 권장하지 않습니다. 커널 프로그래머는 모든 종류의 미친 것들을 실행할 수 있습니다.
xenoterracide

ZFS는 안정적 일 수 있지만 FUSE로 인해 신경 쓰지 않을 것입니다.
xenoterracide

1
퓨즈의 ZFS는 해킹입니다. 좋은 해킹 일 수 있습니다. 귀하의 중요한 비즈니스 데이터에 대해서는 신뢰하지 않을 것입니다. 또한 FUSE의 ZFS에는 속도 문제가 있으며 테라 바이트 단위의 데이터를 백업 할 때 속도가 중요합니다.
Stefan Lasiewski

0

다른 답변에서 논의하지 않은 imho 매우 중요한 측면 은 파일 시스템의 디스크 레이아웃안정성 기능입니다 (예 : 가능한 후보 ext4 , btrfs에 대한 문서를 참조하십시오 )

그것은 때문에 코드베이스의 파일 시스템 드라이버의 테스트 코드베이스와 양이지만, 다른 답변이 alrady 가리 켰을 때, 참으로 중요하다 의 읽기와 쓰기시 데이터 보호 의는 디스크 레이아웃 / 형식은 데이터에 대한 위험에 대한 보호이다 읽을 수없는 섹터 또는 무음 비트 썩음 과 같은 하드웨어 결함의 형태 인 정지 상태 입니다.

에 관해서 ext4는 좋은 특성을 가지고 있다고 말한 것은 오랫동안 테스트 된 코드베이스입니다 ( https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0. pdf 는 예를 들어 더 현대적이고 더 복잡한 버그보다 버그를 찾는 데 더 오래 걸렸다는 것을 보여줍니다 btrfs)) 나는 ext4 저항을 조사 하고 다른 찬양 파일 시스템의 일부 결함을 발견했습니다.

개발자가 제공 하는 도구 를 사용하여 복구 가능성을 개선하기 위해 신중하게 ( ext4" 고체 백업 백업 "으로 선택한 경우 ) " 고무 백업 "으로 간주 합니다.e2imageext4

e2image 프로그램은 장치에있는 중요한 ext2, ext3 또는 ext4 파일 시스템 메타 데이터를 image-file로 지정된 파일에 저장합니다. 이미지 파일은 해당 프로그램에 -i 옵션을 사용하여 dumpe2fs 및 debugfs에 의해 검사 될 수 있습니다. 이를 통해 전문가는 치명적으로 손상된 파일 시스템을 복구 할 수 있습니다. 앞으로 e2fsck는 이미지 파일을 사용하여 심하게 손상된 파일 시스템을 복구 할 수 있도록 향상 될 것입니다.

추천 .

시스템에서 모든 파일 시스템에 대한 이미지 파일을 생성하고 파티션 레이아웃 (fdisk -l 명령을 사용하여 생성 할 수 있음)을 정기적으로 --- 부팅시 및 / 또는 매주 또는 그래서. 이미지 파일은 파일 시스템이 심하게 손상된 경우이 데이터에 액세스 할 수 있도록 데이터가 포함 된 파일 시스템이 아닌 다른 파일 시스템에 저장해야합니다.

ext4 디스크 레이아웃 의 모든 메타 데이터에 중복성이 제공되는 것은 아니라는 점을 고려할 때 (즉, 수퍼 블록이 사본으로 여러 번 저장되고, 인도어는 정확히 1 곳에만 저장 됨) 적어도 체크섬을 제공하는 것보다 ext4열등 btrfs하다 모든 메타 데이터 + 파일 내용 데이터 .

디스크 레이아웃 측면에서 이러한 "단점"을 극복 ext4하고 더 많은 rock-solid것을 만들려면 / 중복을 통해 파일 내용에 대한이 중복성과 복구를 보완하는 것이 합리적 일 수 있습니다par2

질문은 파일 시스템 솔루션에 중점을 두어야하지만 파일 시스템이 제공하는 대부분의 것 (캐싱, 저널, 할당 공간 확보, 블록 할당 등)이 백업 데이터의 이점이 될 필요는 없다는 점에 주목하고 싶습니다. 대량으로 작성하고 읽기만하면됩니다. 이를 위해 프로세스 백업에 사용되는 코드베이스가 줄어들 기 때문에 parchive보충 기능 tar백업을보다 최적의 백업 솔루션으로 사용하는 것이 좋습니다. 따라서 "기능"이 적 으면 버그가 줄어 듭니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.