리눅스 용 대용량 파일 (백업)을위한 안정적인 파일 시스템


18

백업에 가장 적합한 파일 시스템은 무엇입니까? 안정성 (특히 하드 재부팅 중 파일의 손상 불가능)에 주로 관심이 있지만 대용량 (> 5GB) 파일을 얼마나 효율적으로 처리하는지도 중요합니다.

또한 어떤 마운트 매개 변수를 사용해야합니까?

커널은 Linux> = 2.6.34입니다.

편집 : 나는 할 수 없습니다 백업 방법을 원한다. 저장할 파일 시스템이 필요합니다.


매일, 매주, 매월 얼마나 많은 데이터를 백업하고 있습니까? 얼마나 많은 데이터를 보관할 계획입니까?
— Stefan Lasiewski

Linux 여야합니까? FreeBSD 8.1에서 ZFS (이전의 안정적인 버전 14)를 고려 했습니까?
— Stefan Lasiewski

랩탑의 임시 백업 저장 장치이며 외장 하드 드라이브로 전송됩니다. FreeBSD 현재-훌륭한 시스템이지만이 응용 프로그램에는 적합하지 않습니다.
— Maciej Piechotka

답변:


13

ext4 를 사용할 수는 있지만 journal_data이전 문제를 일으킨 할당 해제 (지연 할당)를 해제하는 모드로 마운트하는 것이 좋습니다 . 할당 해제를 비활성화하면 새로운 데이터 쓰기 속도가 느려지지만 정전시 쓰기 손실이 줄어 듭니다. 또한 journal_data약간 개선 된 읽기와 같은 다른 이점 (또는 적어도 ext3에서했던) 을 사용하지 않고 dealloc을 비활성화 할 수 있으며 복구가 더 좋다고 언급해야합니다 .

익스텐트는 여전히 조각화에 도움이됩니다. 익스텐트는 대용량 파일을 ext3보다 훨씬 빠르게 삭제합니다. 모든 크기의 데이터 (단일 파일)는 ext4에서 거의 즉시 삭제되지만 ext3에서는 시간이 오래 걸릴 수 있습니다. (범위 기반 FS는이 장점이 있습니다)

ext4는 fsckext3보다 빠릅니다.

마지막으로, ext4에는 2.6.31과 같은 버그 수정이 있었습니까? 기본적으로 LTS 커널 인 2.6.32 이전 커널을 실행하고 있지 않은지 확인합니다.


"견고한는"을지 경우 ext4는 mertis을 고려하는 가치가있을 수 있으며 그와 관련된 위험 on disk layout정지 따라서 데이터 안전 (목적은 discuded 여기에 )
— humanityANDpeace

5

XFS는 견고하며 오랫동안 커널로 사용되었습니다. xfs_freeze와 같은 도구를 검사하고 원하는 도구인지 확인하십시오. 나는 이것이 매우 주관적이라는 것을 알고 있지만 XFS를 몇 년 동안 사고없이 데이터 스토리지에 사용했습니다.


2
내 대답에 따라 XFS는 익스텐트 기반이며 ext4와 동일한 이점을 많이 가지고 있습니다. 그러나 ext4가 가질 수있는 dealloc과 동일한 문제가 발생하여 플러그 풀 시나리오에서 데이터가 손실 될 수 있다고 언급하고 싶습니다. XFS에서 dealloc을 비활성화 할 수 있는지 여부를 모르겠습니다.
— xenoterracide

예, 기능을 비활성화 할 수 있는지 확실하지 않지만 xfs_freeze 유틸리티는 안정적인 디스크 이미지를 보장합니다. 매뉴얼 페이지에서 : -f 플래그는 지정된 XFS 파일 시스템이 새로운 수정 사항에서 고정되도록 요청합니다. 이 옵션을 선택하면 파일 시스템에서 진행중인 모든 트랜잭션이 완료되고 새 쓰기 시스템 호출이 중지되고 파일 시스템을 수정하는 다른 호출이 중지되고 모든 더티 데이터, 메타 데이터 및 로그 정보가 디스크에 기록됩니다. 고정 된 파일 시스템에 쓰려고하는 모든 프로세스는 파일 시스템이 고정 해제되기를 기다리는 것을 차단합니다.
— dsp

플러시가 작동하는 한 파일의 쓰기 중 손상에 대해 덜 걱정합니다.
— Maciej Piechotka

3

체크섬을 지원하는 백업 도구 만 사용하십시오. 예를 들어 Dar 는 증분 백업을 지원합니다. 그런 다음 ext3과 같은 견고한 파일 시스템으로 백업 할 수 있습니다.

백업의 경우 견고하고 매우 안정적인 것을 원합니다. 그리고 btrfs 또는 ZFS는 오늘날 단순히 준비되지 않았습니다.


나는 그것을 ext3로 계산한다
— Maciej Piechotka

0

btrfs에는 디스크에 기록 된 데이터의 투명한 체크섬과 항상 켜져있는 빠른 순서의 쓰기 모드 (및 다른 많은 백업 친화적 기능)가있어 백업에 적합합니다. 자세한 내용은 https://btrfs.wiki.kernel.org/index.php/Main_Page 를 참조하십시오.


흠. 장래에 좋은 대답 일지 모르지만 btrfs 또는 zfs가 Linux에서 안정적이라고 생각하지 않습니다.
— Maciej Piechotka

커널 사용자가 btrfs를 추천했습니다. 마지막으로 Mercurial 관리자가 최소 한 대의 컴퓨터에서 상시 가동하고 있다는 것을 알았습니다. 나는 매일 FUSE를 통해 ZFS를 사용하며 FUSE 때문에 조금 느리면 견고합니다.
— durin42

1
디스크 형식의 btrfs가 아직 안정적이지 않습니다 ... 변경 될 때까지 권장하지 않습니다. 커널 프로그래머는 모든 종류의 미친 것들을 실행할 수 있습니다.
— xenoterracide

ZFS는 안정적 일 수 있지만 FUSE로 인해 신경 쓰지 않을 것입니다.
— xenoterracide

1
퓨즈의 ZFS는 해킹입니다. 좋은 해킹 일 수 있습니다. 귀하의 중요한 비즈니스 데이터에 대해서는 신뢰하지 않을 것입니다. 또한 FUSE의 ZFS에는 속도 문제가 있으며 테라 바이트 단위의 데이터를 백업 할 때 속도가 중요합니다.
— Stefan Lasiewski

0

다른 답변에서 논의하지 않은 imho 매우 중요한 측면 은 파일 시스템의 디스크 레이아웃 의 안정성 기능입니다 (예 : 가능한 후보 ext4 , btrfs에 대한 문서를 참조하십시오 )

그것은 때문에 코드베이스의 파일 시스템 드라이버의 테스트 코드베이스와 양이지만, 다른 답변이 alrady 가리 켰을 때, 참으로 중요하다 의 읽기와 쓰기시 데이터 보호 의는 디스크 레이아웃 / 형식은 데이터에 대한 위험에 대한 보호이다 읽을 수없는 섹터 또는 무음 비트 썩음 과 같은 하드웨어 결함의 형태 인 정지 상태 입니다.

에 관해서 ext4는 좋은 특성을 가지고 있다고 말한 것은 오랫동안 테스트 된 코드베이스입니다 ( https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0. pdf 는 예를 들어 더 현대적이고 더 복잡한 버그보다 버그를 찾는 데 더 오래 걸렸다는 것을 보여줍니다 btrfs)) 나는 ext4 저항을 조사 하고 다른 찬양 파일 시스템의 일부 결함을 발견했습니다.

개발자가 제공 하는 도구 를 사용하여 복구 가능성을 개선하기 위해 신중하게 ( ext4" 고체 백업 백업 "으로 선택한 경우 ) " 고무 백업 "으로 간주 합니다.e2imageext4

e2image 프로그램은 장치에있는 중요한 ext2, ext3 또는 ext4 파일 시스템 메타 데이터를 image-file로 지정된 파일에 저장합니다. 이미지 파일은 해당 프로그램에 -i 옵션을 사용하여 dumpe2fs 및 debugfs에 의해 검사 될 수 있습니다. 이를 통해 전문가는 치명적으로 손상된 파일 시스템을 복구 할 수 있습니다. 앞으로 e2fsck는 이미지 파일을 사용하여 심하게 손상된 파일 시스템을 복구 할 수 있도록 향상 될 것입니다.

및 추천 .

시스템에서 모든 파일 시스템에 대한 이미지 파일을 생성하고 파티션 레이아웃 (fdisk -l 명령을 사용하여 생성 할 수 있음)을 정기적으로 --- 부팅시 및 / 또는 매주 또는 그래서. 이미지 파일은 파일 시스템이 심하게 손상된 경우이 데이터에 액세스 할 수 있도록 데이터가 포함 된 파일 시스템이 아닌 다른 파일 시스템에 저장해야합니다.

ext4 디스크 레이아웃 의 모든 메타 데이터에 중복성이 제공되는 것은 아니라는 점을 고려할 때 (즉, 수퍼 블록이 사본으로 여러 번 저장되고, 인도어는 정확히 1 곳에만 저장 됨) 적어도 체크섬을 제공하는 것보다 ext4열등 btrfs하다 모든 메타 데이터 + 파일 내용 데이터 .

디스크 레이아웃 측면에서 이러한 "단점"을 극복 ext4하고 더 많은 rock-solid것을 만들려면 / 중복을 통해 파일 내용에 대한이 중복성과 복구를 보완하는 것이 합리적 일 수 있습니다par2

질문은 파일 시스템 솔루션에 중점을 두어야하지만 파일 시스템이 제공하는 대부분의 것 (캐싱, 저널, 할당 공간 확보, 블록 할당 등)이 백업 데이터의 이점이 될 필요는 없다는 점에 주목하고 싶습니다. 대량으로 작성하고 읽기만하면됩니다. 이를 위해 프로세스 백업에 사용되는 코드베이스가 줄어들 기 때문에 parchive보충 기능 tar백업을보다 최적의 백업 솔루션으로 사용하는 것이 좋습니다. 따라서 "기능"이 적 으면 버그가 줄어 듭니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.