큰 파일 서버를위한 Linux 파일 시스템

경험이 많은 사람들로부터 20TB가 넘는 하드 디스크를 가진 파일 서버에 사용하기에 가장 적합한 파일 시스템이 무엇인지 알고 싶습니다. 개인적으로 나는 개인 컴퓨터와 "작은 서버"BOOT 및 ROOT 디스크에서 항상 EXT3 (이전의 시대)과 EXT4 (사용 가능한 이후)를 사용했습니다.

그러나 EXT4 도구 (EXT4 자체는 아니지만)가 16TB 파티션으로 제한되어 있기 때문에 이것이 최선의 방법은 아닙니다. 배포는 데비안 6.0 (Squeeze) 및 / 또는 젠투 (최신 버전)가 될 것이므로, 커널은 꽤 최근이어야합니다 (데비안에서는 최소한 백 포트가 있음).

파일 서버는 메일 시스템을 세 가지 목적으로 사용합니다 (또한 분할 된 파티션도 사용됩니다. 그 목적은 데이터를 "안전하게"유지하고 오버 헤드를 크게 신경 쓰지 않기 때문입니다). 모든 디스크는 LUKS를 사용하여 암호화됩니다 .

1. 미디어, 다운로드 및 로컬 데비안 리포지토리 [데비안을 실행하는 컴퓨터가 6 대 이상임]> 20TB
2. 데이터 (문서, 사진, ...) ~ 4TB SAFE (raid1 또는 raid6 + 백업 디스크를 의미)
3. 내 기가비트 LAN에있는 다른 컴퓨터의 백업을위한 백업> = 20TB (Windows 인 경우에도 전체 OS를 백업하는 소프트웨어를 제안 할 수 있습니까, BackupPC에 따르면 다른 대안이 있습니까?)

빠른 속도는 실제로 필요하지 않습니다 (동시 액세스 : 최대 2 개 또는 3 개의 큰 파일 (예 : 비디오)). 10 HDD Raid6에서 "단지"200MB / s를 읽는 경우에도 마찬가지입니다.

요약하면 20TB / 파티션 이상을 지원하는 안정적이고 확장 가능한 (즉, 쉽게 확장 가능한) 파일 시스템을 찾습니다. FS가 안전하고 신뢰할수록 좋습니다. 채택 된 하드웨어는 최소한 쿼드 코어 (amd x4 630 또는 인텔 i5-2500k)와 충분한 RAM (> 8GB, 아마도 16GB 이상)이므로 하드웨어 요구 사항을 충족해야합니다.

정전시 내 PC / 서버가 UPS (무정전 전원 공급 장치)에 연결됩니다 . 별도의 시스템 (예 : 두 대의 서버)에서도 미디어 및 백업을 수행 할 수 있습니다.

많은 사람들이 ZFS를 제안하고 있습니다. 그러나 ZFS는 퓨즈를 제외하고는 Linux에서 기본적으로 사용할 수 없습니다. 성능이 중요한 상황에서는 권장하지 않습니다.

안타깝게도 라이센스 문제가 해결되지 않으면 ZFS를 기본 커널 모듈로 사용할 수 없습니다.

XFS는 좋지만 일부 사람들은 부패 문제를보고했으며 이에 대해서는 언급 할 수 없습니다. 작은 XFS 파티션을 가지고 놀았지만 이러한 문제는 없었지만 프로덕션에는 없었습니다.

ZFS에는 무시할 수없는 장점과 유용한 기능이 너무 많습니다. 요약하면 다음과 같습니다. 의미에 대한 자세한 내용은 ZFS Wiki 를 참조하십시오 .

• 데이터 무결성
• 저장 영역 풀
• L2ARC
• 높은 수용력
• 쓰기시 복사
• 스냅 샷 및 클론
• 동적 스트라이핑
• 가변 블록 크기
• 가벼운 파일 시스템 생성
• 캐시 관리
• 적응 형 엔디안
• 중복 제거
• 암호화

그래서 우리는 어떻게 그것을 극복합니까? 귀하의 상황에 맞는 제 제안 대안은 nexenta 를 고려하는 것 입니다. 이것은 GNU 사용자 도구가 맨 위에있는 Open Solaris 커널입니다. Open Solaris 커널이 있다는 것은 ZFS를 기본적으로 사용할 수 있다는 의미입니다.

요구 사항에 잘 맞는 XFS를 사용해보십시오.

XFS는 64 비트 파일 시스템입니다. 호스트 운영 체제에 의해 부과 된 블록 제한이 적용되지만 최대 파일 시스템 크기는 8 엑시 바이트에서 1 바이트를 뺀 값을 지원합니다. 32 비트 Linux 시스템에서는 파일 및 파일 시스템 크기가 16TB로 제한됩니다.

가장 쉬운 옵션은 XFS를 사용하는 것입니다. XFS에 대한 많은 나쁜 경험은 표준 품질 서버 하드웨어에 대한 새로운 배포와 실제로 관련이 없다고 생각하는 이전 버전과 데스크탑 하드웨어 문제를 기반으로합니다. 이 상황에 대한 블로그 게시물을 작성 하여 현재 상황을 정리하는 데 도움이 될 수 있습니다. 관리하는 데 도움이되는 수백 명의 사용자와 테라 바이트 단위의 데이터가있는 여러 개의 바쁜 XFS 데이터베이스 설치가 있습니다. 그것들은 모두 데비안 레니 커널 (2.6.26) 이상에 있으며 몇 년 동안 문제가 발생하지 않았습니다. 이전 버전의 커널에서는 XFS를 사용하지 않습니다. 시스템에 메모리 나 디스크 공간이 부족할 때 이상한 XFS 동작이 여전히 발생한다는 사람들의 직접적인보고를 들었습니다. 그래도 나는 그것을 직접 보지 못했습니다.

다른 합리적인 옵션은 더 큰 파일 시스템을 지원하기 위해 해킹 과 함께 ext4를 사용하는 것 입니다. 나는 매우 다른 신뢰성 수준을 기대하지는 않을 것입니다. 커널 버그가 발생한 여러 개의 깨진 ext4 시스템에서 데이터를 복구해야했습니다. ext4에는 지연된 할당 데이터 손실 과 같은 자체 메타 데이터 문제가 있는데 , 이는 ext3에서 발생할 가능성이 적습니다. 나는 당신이 ext4 버그에 부딪 힐 확률이 정상적인 크기 제한을 넘어 서면 정상보다 훨씬 높을 것이라고 추정 할 것입니다. .

대안은 더 안전하고 지루한 ext3을 사용하고 16TB 제한을 수용하고 더 나은 파티션을 만들어서 단일 파일 시스템이 그렇게 크지 않도록하는 것입니다.

저널 문제와 관련된 하나의 느슨한 끝. 이 모든 드라이브가 어떻게 연결 될지에 대해서는 이야기하지 않았습니다. 스토리지 체인에있는 쓰기 캐싱의 의미를 이해해야합니다. 이를 비활성화하거나 파일 시스템이 캐시를 플러시하고 있는지 확인하십시오. 아직 확인하지 않은 내용이 있다면 신뢰성있는 쓰기 (Reliable Writes) 에서 이에 관한 리소스를 마련했습니다 .

드라이브가 빨라요. RAID 어레이가 빨라집니다. 파일 시스템이 빨라요. 여러 번 실패했습니다. 백업에 대해 이미 생각하고 있다는 것을 알게되어 기쁩니다. 스토리지에서 우수한 안정성으로 전환하려면 RAID 및 일부 예비 드라이브 이상의 것이 필요합니다. 중복성은 모든 수준에서 비용이 들며, 하드웨어 대 소프트웨어 복잡성의 비용은 탐색하기 까다 롭습니다. 성능 기대치를 지켜보십시오. 고려하고있는 RAID 어레이는 수백 MB / s를 쉽게 수행 할 수 있지만, 두 개의 동시 판독기는 디스크를 끊임없이 몇 MB / s로 떨어 뜨리기 위해 끊임없이 디스크를 찾고 있습니다. 24 개의 디스크 RAID10 어레이를 쉽게 분쇄하여 벤치 마크 워크로드 에 비해 <5MB / s 만 제공 할 수 있습니다 . 여러 스트리밍 리더가 가능한 경우 미리 읽기를 위쪽으로 조정하는 것이 도움이됩니다.

암호화를 위해 gbde 를 사용하여 FreeBSD를 사용하여 ZFS에 배포 할 수 있습니다 . ZFS 자체는 RAIDZ 를 통한 소프트웨어 RAID 제공자 입니다. zpools 빌드의 스토리지 관리 복잡성은 Linux가 mdadm을 사용하는 것과 크게 다르지 않으며 경우에 따라 실제로 더 쉽습니다. 첫 번째 ZFS 설치 (약 3 년 전 Solaris 10에서)에는 48 개 이상의 드라이브에 17TB 파일 시스템이있었습니다. ZFS 관리를 배우면서 문제없이 여러 번 실패했지만 살아 남았습니다.

주요 장점은 ZFS의 체크섬 은 Linux보다 더 나은 오류 감지 기능을 제공 한다는 점입니다 . 이는 고려할 가치가없는 하드웨어에 대한 방어입니다. 주요 단점은 FreeBSD가 덜 인기가 있다는 것입니다. 아직 관리 방법을 모르는 경우 하드웨어 지원은 Linux보다 약간 약하며 덜 인기있는 플랫폼이기 때문에 문제가 발생하면 도움을 요청하는 사람이 많지 않습니다.

많은 테라 바이트 급 스토리지는 ZFS의 장점을 강조합니다. 새로운 것을 기꺼이 받아 들일 의향이 있다면 진지하게 고려해 볼 가치가 있습니다. 진정한 백업 편집증을 탐색하려면 Linux 및 FreeBSD 백업 서버를 구축하여 단일 오류 지점으로 OS 버그의 가능성을 줄이십시오.

wikipedia의 파일 시스템 비교 페이지 에 따르면 JFS, XFS, UDF, ZFS, GPFS 및 Btrfs와 같이 사용자의 요구에 맞는 많은 주목할만한 파일 시스템이 있습니다. 최대 파일 크기를 클릭하여 정렬하고 가장 적합한 파일을 선택하십시오.