VMware 디스크 이미지를 NFS에 저장하기위한 최고의 파일 시스템 선택

11

현재 여러 VMware ESXi 서버의 스토리지로 iSCSI SAN을 사용하고 있습니다. 추가 가상 머신을 위해 Linux 서버에서 NFS 대상 사용을 조사하고 있습니다. 또한 상당한 이점을 제공 할 수있는 다른 운영 체제 (OpenSolaris와 같은)를 사용한다는 아이디어도 열려 있습니다.

VMware의 디스크 이미지와 같이 매우 큰 연속 파일을 선호하는 Linux 기반 파일 시스템은 무엇입니까? 또는 이런 종류의 워크로드에 대해 사람들이 OpenSolaris에서 ZFS를 어떻게 찾았습니까?

(이 질문은 원래 수퍼 유저에게 질문되었습니다 . 방법을 알고 있다면 여기에서 답변을 자유롭게 마이그레이션하십시오).

— 믈 라비
소스

13

ZFS를 살펴 보는 것이 좋지만 적절한 성능을 얻으려면 전용 장치를 ZFS (ZIL Intent Log)로 선택해야합니다. 기본적으로 이것은 매우 빠른 쓰기 (20-100K IOPS)를 할 수있는 작은 장치 (몇 GB)로, ZFS는 쓰기가 스토리지에 동기화되었음을 즉시 확인할 수 있지만 실제로 하드 디스크에 쓰기를 커밋 할 때까지 최대 30 초 동안 기다립니다. 당신의 수영장. 충돌 / 정지가 발생하면 마운트시 ZIL의 커밋되지 않은 트랜잭션이 재생됩니다. 결과적으로, UPS 외에도 내부 전원 공급 장치 / 슈퍼 커패시터가있는 드라이브를 사용하여 보류중인 IO가 전원 손실시 영구 저장 장치로 만들 수 있습니다. 전용 ZIL 장치를 선택하면 쓰기 작업의 대기 시간이 길어 모든 종류의 문제가 발생할 수 있습니다. Sun에 관심이 없다고 가정하면

DDRDrive X1 -ZIL 사용을 위해 명시 적으로 설계된 PCIe x1 카드의 4GB DDR2 + 4GB SLC 플래시. 쓰기는 RAM에 간다; 전력 손실이 발생하면 수퍼 커패시터로 전원을 공급받는 60 초 이내에 RAM을 NAND에 동기화합니다. (50k-300k IOPS; 2,000 달러 직접, .edu의 경우 $ 1500)
Intel X25-E 32GB 2.5 인치 SSD (SLC, 수퍼 캡 없음, 3300 쓰기 IOPS); [Amazon에서 $ 390] [11]
OCZ Vertex 2 Pro 40GB 2.5 인치 SSD (수퍼캡, MLC, 20k-50k 쓰기 IOPS); 아마존에서 $ 435 .

OpenSolaris / Nexenta + ZFS 설정이 완료되면 OpenSolaris와 ESX boxen간에 블록을 이동할 수있는 몇 가지 방법이 있습니다. 올바른 인프라는 기존 인프라 (L3 스위치, 파이버 카드) 및 우선 순위 (중복성, 대기 시간, 속도, 비용)에 크게 좌우됩니다. 그러나 iSCSI / FC / NFS 기능의 잠금을 해제하기 위해 특수한 라이센스가 필요하지 않기 때문에 하드웨어가있는 모든 것을 평가하고 좋아하는 것을 선택할 수 있습니다.

iSCSI 대상 (CPU 오버 헤드, OpenSolaris에서 TOE 지원 없음)
파이버 채널 대상 (파이버 카드는 저렴하지 않음)
NFS (VMWare + NFS는 고정 가능하고 마운트 32 개로 제한 될 수 있음)

평가에 500 달러를 쓸 수없는 경우 ZIL을 사용 하거나 사용 하지 않는 상태에서 테스트 하여 ZIL에 병목 현상이 있는지 확인하십시오. (아마)입니다. 프로덕션 환경에서는이 작업을 수행하지 마십시오 . L2ARC 용 램과 SSD가 많지 않다면 ZFS 중복 제거 기술을 그대로 사용하지 마십시오. 일단 설정하면 확실히 좋지만 dedup을 사용하기 전에 NFS 조정을 시도하십시오 . 1-2Gb 링크로 포화 상태가되면 8gb FC, 10gigE 및 무한대에 성장 기회가 있지만 각각 평가에 상당한 투자가 필요합니다.

— Notpeter
소스

2

나는 이것을 정확하게하지 않을 것입니다. 필자의 경험에 따르면 Linux (특히 CentOS 3/4/5)는 일반적으로 NFS 서버에 적합하지 않습니다. 나는 몇 가지를 가지고 있었고로드, 대기 시간 및 처리량은 우리가 결코 머리를 맞을 수없는 이유로 하락하는 경향이 있음을 발견했습니다.

우리는 연속 Linux 성능을 Solaris (Ultra-SPARC) 및 NetApp과 비교했습니다. 둘 다 애플 대 애플 성능과 "서버가로드 될 때 대기 시간에 대해 거의 불만을 제기하지 않는 엔지니어"라는면에서 귀찮은 결과를 반환했습니다. Linux NFS 서버를 조정하려는 여러 번의 시도가있었습니다. NetApp과 Solaris 시스템은 모두 기본적으로 제공됩니다. 또한 관련된 Solaris 및 NetApp 시스템이 모두 오래 되었기 때문에 Linux 서버는 모든 이점이 있다고 주장 할 수 있었지만 여전히 설득력이 없었습니다.

시간이 있다면 OpenSolaris (현재 Solaris가 사용하기에는 비용이 너무 많이 듭니다), Linux 및 BSD 변형을 사용하여 동일한 하드웨어를 설정하고 경쟁하는 것이 좋습니다. 일부 성능 지표 (예 : 상점에서 호스팅되는 VM의 디스크 I / O 수)를 생각해 내면 흥미로운 백서 나 인터넷 기사를 만들 수 있습니다. (시간이 있다면)

일반적으로 NFS와 관련하여 NetApp 직원은 벤치 마크에서 NFS의 VM 성능이 5 ~ 10 %에 불과하다는 사실을 여러 번 밝혔습니다. 애플리케이션이 민감한만큼 문제가된다면 가상화해서는 안됩니다. 처음부터.

그러나 시간이 지남에 따라 로컬이 아닌 프로덕션 VM 저장소는 모두 대부분 NetApp에서 iSCSI에 의해 공급된다고 고백해야합니다.

— 데이비드 맥킨토시
소스

NFS로 시작한 다음 iSCSI 지원을 나중에 시작한 것은 NetApp이라고 생각합니다. 따라서 그들의 제품은 항상 '최고의 경우'NFS 성능 대 '최악의 경우'iSCSI를 볼 수 있습니다 ... NFS를 피하면서 두 번째-Linux에서 iSCSI를 사용할 수 있습니다. 더 나은 선택 IMO.

— Chris Thorpe

2

VMWare ESXi 서버에 NFS를 제공하기 위해 OpenSolaris 2009/06을 RAID 10 ZFS 구성과 함께 사용하고 있습니다. 그것은 지금까지 우리의 요구에 상당히 잘 작동합니다. SATA Raid 유형 드라이브 (Seagate ES.2 1TB 드라이브)를 사용하고 있습니다. 그러나 우리는 여전히 조정해야합니다.

— 테그 베인
소스

2

VMware 용 NFS 데이터 스토어의 열렬한 팬이며 NetApp은 탁월한 구현을 제공합니다.

TR-3808 은 NetApp FC, iSCSI 및 NFS 연결 공유 데이터 스토어의 스케일링을 비교합니다.

— chamdor
소스

-2

ZFS ARC의 3 년 이상 버그를 고려하여 ZFS로 너무 깊숙이 뛰어 들기 전에 여전히 지속될 수 있습니다 ...

http://bugs.opensolaris.org/bugdatabase/view_bug.do?bug_id=6522017

(이것은 하이퍼 바이저의 VM 제한에서 벗어나기 때문에 불쾌합니다!)

— 사용자
소스

동일한 '답변'을 2 가지 이상의 Nexenta 관련 질문에 복사 / 붙여 넣기했습니다. 이것은 심각한 버그이지만 매우 드문 상황에서만 버그가 발생합니다. 따라서 귀하의 행동은 약간 과도하게 보입니다. 실행 ZFS의 장점은 지금까지 당신이 버그를 칠거야 매우 슬림 기회를보다 큽니다.

— EEAA

좋아요, 같은 답을 붙여 넣은 8 가지 질문을 만드십시오.

— EEAA

그들은 관련되어 있지만 그것은 당신의 의견입니다. 나는 이점에 동의하지만,이 뛰어난 / 진정한 버그의 영향은 전체 OS를 분쇄 중단으로 가져올 것이므로 중요합니다. 저장된 데이터에 안정적으로 액세스 할 수없는 경우에는 이점이 없습니다.

— user48838

이 포럼 / 포맷의 전반적인 유용성에 대해 이것을 공정하게 평가하고자하는 사람들을 위해, 먼저 다음에 대한 의견을 읽으십시오 : serverfault.com/questions/162693/…

— user48838

ErikA는 자신의 ZFS 리그를 식별하지 않으므로 "매우 드문 상황"에서 발생하는 참조 된 질문에서 식별 된 상황에 대해이 사람이 작성한 의견을이 사람이 확인할 수 없습니다. 그들의 진술 / 포지션에 대한 근거도 그 의견에있다.

— user48838