AWS Linux에서 확장 가능하고 규모가 큰 공유 파일 시스템을 어떻게 생성합니까?

단일 파일 시스템으로 노출되어 AWS에서 확장 가능하고 확장 가능한 공유 스토리지를 제공 할 수있는 합리적이고 합리적인 방법은 무엇입니까?

현재 1 주일에 1TB EBS 볼륨을 만들고 있으며 no_subtree_check 및 nohide로 NFS를 내보내고 있습니다. 이 설정에서 클라이언트의 단일 마운트 아래에 별개의 내보내기가 나타납니다. 이 배열은 잘 확장되지 않습니다.

우리가 고려한 옵션 :

ext4가있는 LVM2 resize2fs가 너무 느립니다.
Linux의 Btrfs. 아직 프라임 타임에 대한 준비가되지 않았습니다.
Linux의 ZFS 아직 프라임 타임에 대한 준비가되어 있지는 않습니다 (LLNL이 사용하더라도)
Solaris의 ZFS 이 콤보의 미래는 확실하지 않으며 (나에게) 믹스의 새로운 OS
접착제. 대부분 좋은 이야기를 들었지만 두 개의 무서운 이야기 나 오래된 이야기를 들었습니다.

이상적인 솔루션은 공유, 단일 fs보기, 쉬운 확장 성, 스냅 샷 및 복제를 제공합니다.

아이디어와 경험을 공유해 주셔서 감사합니다.

— 리스
소스

이것에 대한 숫자를 실행 했습니까? 그것은 ... 엄청나게 비싼 것으로 나 파업

— 마이클 햄프 턴에게

좋은 질문. 대답은 다소 나쁘지만 우리는 빠르다. 우리의 데이터 요구는 높고 컴퓨팅 요구는 파열 적입니다. 따라서 고가의 스토리지와 저렴한 피크 컴퓨팅 솔루션을 갖춘 AWS 또는 고가의 컴퓨팅과 저렴한 스토리지를 갖춘 로컬을 포함하여 어느 비용이 더 비쌀지는 확실하지 않습니다. (완전히로드 된 스토리지 비용이 실제로 더 저렴하다는 확신조차 없습니다.) 비용을 줄이기 위해 Glacier에 아카이브 데이터를 숨길 것입니다 (제약 조건은 우리에게 효과적입니다).

— Reece

대역폭 비용을 잊지 마십시오.

— Michael Hampton

ZFS는 솔라리스 또는 FreeBSD이지만, 솔직히 말하면 미래는 다소 불확실하며 오픈 소스 ZFS는 버전 28 (OS는 무엇이든)에 머물러 있습니다.

— Ouki

XFS (LVM 상단)는 어떻습니까? ext4보다 더 성숙하여 파일 시스템의 증분 덤프를 수행 할 가능성이 있습니다. Wikipedia 기사 를 확인하고 싶을 수도 있습니다. 와 벤치 마크 내부에 조회 된 ext4에 대한합니다.

— 피터 프
소스

고마워, Petr LVM + XFS 콤보를 고려했습니다. LVM2와 XFS에 대해 약간의 불안감이 있습니다. 주로 불확실성과 새로운 운영 복잡성에 관한 것입니다. 나는 아무것도 할 것이 없다고 생각하지 않습니다 (즉, 노력하지 않고 확장 가능한 스토리지). 노력과 위험을 최소화하고 싶습니다. 예를 들어, RAID1 어레이의 일부인 하나의 EBS 볼륨이 손실되면 어떤 의미가 있습니까? 문제가 아닐 수도 있지만이 시점에서 그러한 질문으로 인해 불확실성이 생깁니다. ZFS와 btrfs의 시대에 나는 그러한 복잡성을 회피하기를 바랐다.

— Reece

@Reece Question은 장치 매퍼를 신뢰하는지 여부입니다. iirc, 대부분의 LVM은 실제로 dm이 지원하는 사용자 공간 도구입니다. (- 참조 2.6.33+는 비록 당신은하지-너무 ancinet 커널을 필요 위키 ).

— peterph