ZFS-RAIDZ-1은 정말 그렇게 나쁩니 까?

RAID10 구성 (4TB 사용 가능)으로 4x 2TB WD RE4-GP 드라이브가있는 NAS 서버가 있습니다. 사용 가능한 공간이 부족합니다 (<1TB 사용 가능한 공간이 남음). 더 크고 더 많은 드라이브 / 인클로저에 사용할 $ 0가 있습니다.

ZFS의 데이터 무결성 기능에 대해 읽은 내용이 마음에 들어서 기존 XFS (소프트웨어) RAID10에서 전환하기에 충분합니다. 그런 다음 ZFS의 우수한 RAID5 구현에 대해 읽었으므로 RAIDZ-1을 사용하여 최대 2TB의 사용 가능한 공간을 더 많이 사용할 수 있다고 생각했습니다.

그러나, 나는 읽는 계속 더 하고 더 게시물은 꽤 많은 단지 RAIDZ-1을 사용하지 않습니다에 말. RAIDZ-2 +만이 "실제"드라이브 장애를 처리 할 수있을 정도로 안정적입니다. 물론 필자의 경우 RAIDZ-2는 의미가 없습니다. 단일 풀 (RAID10)에서 2 개의 미러링 된 vdev를 사용하는 것이 훨씬 좋습니다.

4x 2TB 드라이브에 RAIDZ-1을 사용하고 싶습니까?

미러링 된 vdev 2 개 (본질적으로 RAID10)의 풀을 사용해야하고 압축으로 충분한 공간이 확보되기를 바랍니다.

어느 쪽이든 압축을 사용할 계획입니다. 나는 8GB의 RAM (최대) 만 가지고 있으므로 dedup은 옵션이 아닙니다.

ZFS-on-Linux의 안정성 문제를 피하기 위해 FreeNAS 서버 (현재 Ubuntu OS를 대체하려고 함)에 있습니다.

zfs freenas raidz

— 앤드류 엔 슬리
소스

이것이 주제가 아닌지 확실하지 않습니다. 서버의 올바른 파일 시스템 구성에 대한 조언을 요청하고 있습니다.

— Andrew Ensley

또한 RAIDZ1or2 쓰기 속도는 RAID10에 비해 안됐다

— JamesRyan

속도 저하없이 패리티를 계산하기에 충분한 CPU가있는 경우 RAIDZ는 대부분의 쓰기에서 RAID10보다 빠르거나 빠릅니다. RAIDZ는 전체 RAID 스트라이프로 모든 것을 기록하며 RAID5와 같이 읽기-수정-쓰기주기가 없습니다. 따라서 더 많은 디스크 대역폭 (더 많은 데이터, 적은 오버 헤드)을 얻을 수 있으며 쓰기는 RAID10보다 빠릅니다. 그러나 이로 인해 읽기 속도가 느려지 는 단점이 있습니다 . "매번 전체 스트라이프 쓰기"는 조각화로 이어지며 많은 작은 읽기에 대해 디스크의 서브 세트 만 읽는 이점을 제공하지 않습니다. 이것은 의식적인 디자인 결정이었습니다.

— Dan Pritts

위에서 말한 것은 부분적으로 만 사실입니다. 데이터베이스 서버와 같이 작은 동시 쓰기가 있으면 RAID10이 훨씬 빨라집니다. RAIDZ에서는 모든 디스크가 모든 쓰기에 대해 활성화됩니다. RAID10은 그것들을 분할합니다. 필자가 극복하려고 한 것은 RAIDZ가 RAID5의 성능을 저하시키고 잠재적으로 안전하지 않은 읽기-수정-쓰기주기를 없애는 것입니다.

— Dan Pritts

RAIDZ2는 RAID10보다 안정적입니다. RAIDZ2를 사용하면 두 개의 디스크가 모두 고장날 수 있으며 여전히 데이터를 보유하게됩니다. RAID10을 사용하면 2 개의 고장난 디스크 (4 개의 디스크 어레이에 있음) 가 데이터 손실을 일으킬 수 있습니다.

— Klaws

답변:

구체적인 내용을 다루기 전에 사용 사례를 고려하십시오. 사진, MP3 및 DVD 립을 저장하고 있습니까? 그렇다면 어레이에서 단일 블록을 영구적으로 잃어 버릴지 신경 쓰지 않아도됩니다. 반면에 중요한 데이터 인 경우 이는 재난 일 수 있습니다.

RAIDZ-1이 "실제 실패에 충분하지 않다"는 진술은 재구성 시간이 다가올 때 생존 디스크 중 하나에 잠재적 인 미디어 오류가있을 가능성이 있기 때문입니다. RAID5에도 동일한 논리가 적용됩니다.

ZFS는이 실패를 어느 정도 완화합니다. RAID5 장치를 재구성 할 수 없다면 운이 좋지 않습니다. (남은) 데이터를 복사하고 처음부터 다시 작성하십시오. 반면 ZFS를 사용하면 불량 청크를 제외한 모든 것을 재구성하고 관리자가 오류를 "지울"수 있습니다. 파일의 파일 / 부분이 손실되지만 전체 배열이 손실되지는 않습니다. 물론 ZFS의 패리티 검사는 오류가 있음을 확실하게 알려줍니다. 그렇지 않으면 여러 오류로 인해 재 구축이 명백하게 성공하지만 나쁜 데이터를 반환 할 가능성이 있습니다 (아마도).

ZFS는 " Rampant Layering Violation "이므로 데이터가없는 영역을 알고 있으며 다시 빌드 할 때 건너 뛸 수 있습니다. 따라서 배열이 절반이 비어 있으면 재구성 오류가 발생할 가능성이 절반입니다.

어레이의 "zpool scrubs" 또는 "mdadm checks" 를 정기적으로 수행하여 RAID 수준에서 이러한 종류의 재 구축 오류 가능성을 줄일 수 있습니다 . 다른 RAID와 비슷한 명령 / 프로세스가 있습니다. 예를 들어 LSI / dell PERC RAID 카드는이를 "순찰 판독"이라고합니다. 이것들은 모든 것을 읽어서 디스크 드라이브가 고장난 섹터를 찾고 영구적으로되기 전에 다시 할당하는 데 도움이 될 수 있습니다. 영구적 인 경우 RAID 시스템 (ZFS / md / raid 카드 / 무엇이든)이 패리티에서 데이터를 다시 작성할 수 있습니다.

RAIDZ2 또는 RAID6을 사용하더라도 정기적 인 스크럽이 중요합니다.

마지막 참고 사항-모든 종류의 RAID는 백업을 대체하지 않습니다. 우발적 인 삭제, 랜섬웨어 등으로부터 사용자를 보호하지는 않습니다. 일반 ZFS 스냅 샷은 백업 전략의 일부일 수 있습니다.

— 댄 프릿 스
소스

그 설명에 감사드립니다. 그것은 지금까지 ZFS에 대해 배운 것과 많은 의미가 있으며 일치합니다. 실제로 FreeNAS를 사용하여 서버를 다시로드했으며 RAIDZ-1 구성을 사용했습니다. 한 달에 한 번 문지르도록 설정했습니다. 그 정도면 충분하다고 생각하십니까? 아니면 더 자주 문지르는 것이 좋습니다? 과장된 레이어링 위반은 ZFS에서 내가 가장 좋아하는 기능입니다 :-)

— Andrew Ensley

다양한 연령대의 7 개의 소비자 드라이브에서 raidz1을 실행하고 있습니다. 2 주마다 문지릅니다. 종종 오류를 찾아서 수정합니다. 나는 최근에 드라이브를 잃었고 잠재적 오류가있는 파일을 잃어 버렸습니다. 운 좋게도 쉽게 교체 할 수있는 미디어 파일이었습니다. 내 중요한 데이터에 대해서는 물론 백업이 있습니다.

— Dan Pritts

'홈'드라이브는 '엔터프라이즈'등급에 비해 제곱 될 때 복구 할 수없는 비트 오류율이 2 배 더 높습니다. RAID-5의 복합 오류율이 괜찮은 FC / SAS 드라이브에서 수용 될 수 있다는 것은 여전히 기쁩니다. SATA에서는 그렇지 않습니다.

— Sobrique

두 개의 씨게이트 드라이브를 비교 한 단 하나의 크기 만 : Seagate ST2000DM001 : 1 in 10E14. ST2000NM0033 : 10E15에서 1 그러나 실제로 드라이브 메커니즘이 다른지 확실히 말하기는 어렵습니다. 믿을만한 소식통이 반대되는 대답을한다고 들었습니다.

— Dan Pritts

시스템에서 잘못된 SATA 케이블을 발견했습니다. 교체 된 이후 스크럽에서 오류가 전혀 없습니다.

— Dan Pritts

직장에서 약간의 오해가 있습니다. 당신이보고있는 많은 조언 들은 사실 이 아닐 수도 있는 가정에 근거하고 있습니다 . 특히 드라이브의 복구 할 수없는 비트 오류율입니다.

저렴한 '홈 사용자'디스크는 복구 할 수없는 오류율 10 ^ 14 당 1입니다.

http://www.seagate.com/gb/en/internal-hard-drives/desktop-hard-drives/desktop-hdd/#specs

이것은 RAID를 재 구축하는 동안 복구 할 수없는 오류가 발생할 가능성이 매우 높은 수준이므로 수행하지 않아야합니다. (빠르고 더러운 계산은 RAID-5 세트의 5x 2TB 디스크가 실제로이 확률의 약 60 %임을 나타냅니다)

그러나 더 비싼 드라이브의 경우 에는 사실 이 아닙니다 .

10 ^ 16 당 1 개는 100 배 더 좋습니다. 즉, 5 배 2TB는 <1 %의 재구성 실패 확률입니다. (엔터프라이즈 사용의 경우 일반적으로 600GB 스핀들이 더 유용하기 때문에 더 적습니다.)

따라서 개인적으로-RAID-5와 RAID-4는 여전히 널리 사용되는 모든 이유 때문에 여전히 RAID-5와 RAID-4를 모두 사용할 수 있다고 생각합니다. 잊지 마십시오-RAID-6의 문제점은 쓰기 패널티가 크다는 것입니다. 많은 캐싱으로이를 부분적으로 완화 할 수 있지만, 특히 느린 드라이브로 작업 할 때 특히 어려움이 있습니다.

더 근본적으로 – 절대로 RAID를 신뢰하여 완전한 복원력을 제공하지 마십시오. 드라이브 고장보다 자주 'oops'로 데이터를 잃게되므로 어쨌든 데이터에 관심이 있다면 적절한 백업 전략이 필요합니다.

— 소 브리 크
소스

복구 할 수없는 읽기 오류가 10 ^ 15에서 1 미만인 4 개의 WD RE4-GP 드라이브를 사용하고 있습니다.

— Andrew Ensley

RAID6 쓰기 패널티는 매우 실제적입니다. 그러나 RAID-Z2에는 문제가 없습니다. zfs는 모든 쓰기 작업을 완전히 수행합니다. 그러나 이것은 다른 부정적인 영향을 미칩니다. 여러 가지 이유로 읽기 성능이 저하되는 경향이 있습니다.

— Dan Pritts

흠, 여기 나쁜 정보가 있습니다. 4 개의 디스크의 경우 XFS에는 아무런 문제가 없습니다. 성능 및 확장 성 이유로 읽기 및 쓰기가 적고 확장 할 수 없기 때문에 ZFS RAIDZ를 사용하지 않는 경향이 있습니다. 가능하면 ZFS 미러를 사용하십시오. 그러나 디스크가 4 개이고 OS를 배치 할 위치가 없으면 OS와 데이터를 동일한 4 개의 디스크에 맞추기 위해 많은 용량을 잃거나 이상한 파티셔닝 게임을 거쳐야합니다.

사용 사례에 ZFS를 사용하지 않는 것이 좋습니다. XFS에는 아무런 문제가 없습니다.

— ewwhite
소스

OS가 별도의 드라이브에 있다는 것을 언급하지 않았습니다. 죄송합니다. XFS RAID10에없는 ZFS에서 원하는 것은 자동 데이터 오류를 감지하고 투명하게 수정할 수있는 체크섬 데이터 확인 (드라이브에서 약간 뒤집어졌으며 HDD는 전혀 알 수 없음)입니다. 나는 XFS가 이것을 할 수 있다고 생각하지 않습니다.

— Andrew Ensley

디스크가 4 개인 경우 확장해야 할 가능성이 있거나 성능이 중요한 경우 ZFS 미러를 사용하십시오. 또한 FreeNAS를 피하고 Linux에서 직선 ZFS를 사용합니다.

— ewwhite

나는 터미널 녀석이므로 GUI로 전환하지 않을 것입니다. 대부분, 가능한 파일 시스템에 저장된 파일의 무결성을 보장하는 안정적인 파일 시스템 만 있으면됩니다. 그리고 그 과정에서 약간의 공간을 확보하기를 바랐습니다. ZoL에 대해 많은 문제가보고되었으며 그 중 많은 부분이 Ubuntu OS 업그레이드와 관련되어 있습니다. groups.google.com/a/zfsonlinux.org/forum/#!searchin/zfs-discuss/… 고통 스럽지 않습니다. 내가 생각하는 이유를 설명하는 것뿐입니다. 나는 분명히 수정에 열려 있습니다.

— Andrew Ensley

괜찮아. FreeBSD가 아닌 FreeNAS에 대한 더 많은 문제를 보았으므로 두 가지 방법으로 진행됩니다. 거기에 정보가 있습니다. 우분투를 사용하지 않는, 하지만 난 할 ZFS를 알고있다 . Linux의 ZFS는 일반적으로 RHEL 또는 CentOS와 함께 제공됩니다. 샘플 워크 플로우는 다음과 같습니다 .

— ewwhite

Linux 및 Centos 6에서 ZFS를 사용합니다. 커널 또는 ZFS의 자동 업데이트를 허용하지 않습니다. ZFS / SCL 보킹에 문제가 있었지만 데이터 손실이 없었습니다. 기록적으로, btw에 대해 FreeBSD는 유사한 솔라리스 호환성 루틴을 가지고 있지만, ZFS는 배포판에 완전히 통합되어 있기 때문에 모든 것이 함께 작동하도록 훨씬 더 간단 해집니다. ZFS와 파일 서비스 만 원한다면 FreeBSD를 실행했을 것입니다. 사실, 그것은 내가했던 일이지만 ZoL을 더 매력적으로 만드는 다른 임의의 물건에 상자를 사용합니다.

— Dan Pritts