150TB 이상 성장하고 있지만 어떻게 성장합니까?

내 그룹에는 현재 데비안 리눅스를 실행하는 NAS 두 대의 스토리지 서버가 있습니다. 첫 번째는 몇 년 된 올인원 24 디스크 (SATA) 서버입니다. LVM을 사용하여 두 개의 하드웨어 RAIDS를 설정했습니다. 두 번째 서버는 외장 SAS를 통해 연결된 하드웨어 RAID 6 인 4 개의 인클로저로 나누어 진 64 개의 디스크입니다. 우리는 XTB를 LVM과 함께 사용하여 100TB의 사용 가능한 스토리지를 만듭니다. 이 모든 것이 잘 작동하지만 이러한 시스템을 능가하고 있습니다. 이러한 두 대의 서버를 구축하고 여전히 성장함에 따라 향후 증가, 백업 옵션, 디스크 장애 (더 큰 파일 시스템을 확인하는 데 하루 이상이 걸릴 수 있음)에서 더 잘 작동하고 더 견딜 수있는 유연성을 제공 할 수있는 무언가를 구축하려고합니다. 많은 동시 환경 (작은 컴퓨터 클러스터 생각)에서 시스템 관리 지원이 없습니다.

따라서 우리가 추구하는 것은 미래의 성장과 유연한 구성 (다른 운영 특성을 가진 다른 풀을 가진 ZFS를 생각할 수 있음)을 가능하게하는 상대적으로 저렴한 수용 가능한 성능 스토리지 솔루션입니다. 아마도 단일 NAS 영역 외부에있을 것입니다. 우리는 ZFS (예 : openindiana의 경우) 또는 서버 당 btrfs와 glusterfs의 조합에 대해 생각했습니다. 우리가 평가하는 것은 단순히 총알을 깨고 Isilon 또는 3Par 스토리지 솔루션에 투자하는 것입니다.

어떤 제안이나 경험을 부탁드립니다.

나는 이것이 조금 도움이되기를 바랍니다. 나는 그것을 전체 벽으로 바꾸지 않으려 고 노력했다. :)

3 파 / 아이실론

SAN 관리자 역할을 수행하고 야간 작업 대신 야간 수면으로 고통없는 삶을 즐기고 싶은 사람을 위해 정해진 양의 근무 시간을 할애 할 수 있고 헌신한다면 이것이 내가 갈 길입니다.

SAN을 사용하면 단일 "스토리지"가 제한하는 모든 작업을 수행 할 수 있습니다 (예 : 퓨어 스토리지 플래시 어레이와 큰 3par sata 몬스터를 동일한 서버에 연결). 또한 비용을 지불하고 잘 유지해야합니다. 유연성을 활용하려는 경우

대안

암페어 데이터

장점 : 뛰어난 개념과 전용 읽기 / 쓰기 캐시 레이어로 설계되어 확장 가능하고 저렴합니다. 이것은 실제로 당신에게 가장 좋은 것일 수 있습니다.

RisingTideOS

그들의 목표 소프트웨어는 현재 거의 모든 리눅스 스토리지에서 사용되며 일반 리눅스 / 글루 스터보다 더 나은 관리를 가능하게합니다. (Imho) 상용 버전은 살펴볼 가치가 있습니다.

글 러스터 / btrfs

PRO : 스케일 아웃 및 "브릭"은 관리에 매우 유용한 추상화 계층을 제공합니다.

CON : 첫 번째는 저에게있어 총 PITA였습니다. 그것은 강력하지 않았고, 실패는 한 벽돌에 국지적이거나 모든 것을 꺼낼 수 있습니다. 이제, 제어 레드햇과 실제로 뭔가 작업으로 전환 할 수 그리고 난 사람도 만났다 수 는 년 동안 작동하도록 그것을 길들이기를. 두 번째는 여전히 반 실험입니다. 일반적으로 FS는 검증되고 강력해질 때까지 "완료"된 후 3-4 년이 필요합니다. 데이터를 염려한다면 왜 이것을 고려할 것입니까? 실험적인 Ceph 상용 지원에 대한 이야기가 거의 나오지 않았지만 "RBD"계층을 고수해야합니다. FS는 아직 충분히 테스트되지 않았습니다. 나는 Ceph가 장기적으로 훨씬 더 매력적이지만 분명히하고 싶습니다. :)

ZFS

프로 : 다른 물건의 관에 못을 박는 특징. 이러한 기능은 잘 설계되었으며 (L2ARC 생각) 압축 / 제거가 재미 있습니다. 하나의 큰 통합 붐 대신 작은 실패도 발생하는 더 많은 "스토리지 클러스터"를 갖 습니다.

단점 : 실제 스토리지 대신 여러 개의 작은 소프트웨어 상자를 유지 관리합니다. 강력한 설정을 위해 이들을 통합하고 $$$ 시간을 소비해야합니다.

XFS + LVM 경로는 실제로 지난 몇 년 동안 확장 된 순수 Linux 스토리지 솔루션을위한 최상의 옵션 중 하나입니다. 당신이 이미 거기에있는 것이 좋습니다. 더 성장해야하므로 몇 가지 옵션이 더 있습니다.

아시다시피, 대규모 하드웨어 공급 업체에는 스토리지 용 NAS 헤드가 있습니다. 이것은 실제로 당신에게 모든 일을하기 위해 함께 일할 단일 벤더를 제공 할 것이고, 그것은 잘 작동 할 것입니다. DIY와 비교하여 쉽게 얻을 수있는 솔루션이며 유지 관리 성이 낮습니다. 그러나 비용이 많이 듭니다. 한편으로는 인프라 문제보다는 주요 문제를 해결하기위한 더 많은 엔지니어링 리소스가 있습니다. 다른 한편으로, 만약 당신이 대부분의 대학 부서와 같다면 내가 알고있는 인력은 사물에 대한 현금 지불에 비해 실제로 저렴합니다.

DIY 경로를 사용하면 이미 사용 가능한 DIY 옵션에 대해 잘 알고 있습니다. ZFS / BTRFS는 스케일 아웃 스토리지를위한 XFS + LVM의 확실한 업그레이드 경로입니다. 나는 리눅스 메인 라인 커널에서 '안정적'으로 선언 될 때까지 BTRFS를 피하려고했다. ZFS의 경우 OpenIndiana 대신 BSD 기반을 사용하는 것이 좋습니다. 오랫 동안 더 길었고 꼬임이 많았 기 때문입니다.

Gluster는 여기서 설명하는 사용 사례를 위해 설계되었습니다. 많은 스토리지가 연결된 단일 가상 서버를 제공 할뿐만 아니라 복제도 수행 할 수 있습니다. 그들의 분산 볼륨은 그들이 선언 된 볼륨에있는 모든 스토리지 서버를 통해 파일을 확산하기 때문에, 당신이 찾고있는 정확하게 소리. 이산 스토리지 서버를 계속 추가하여 보이는 볼륨을 계속 확장 할 수 있습니다. 단일 네임 스페이스!

Gluster의 장점은 클라이언트가 CIFS 또는 NFS 옵션 대신 Gluster Client를 사용하여 시스템에 액세스 할 수있을 때 가장 잘 작동한다는 것입니다. 소규모 클러스터 컴퓨팅 클러스터를 실행하고 있으므로 GlusterFS 클라이언트를 활용할 수 있습니다.

당신은 여기에 올바른 길을 가고 있습니다.

내가 아는 한 Linux SCST + FibreChannel 또는 infiniband 기반 SAN 솔루션을 사용할 수 있습니다. LUN의 기본으로 하드웨어 RAID 위에 LVM을 사용하고 파일 시스템 수준 아래에서 스냅 샷 / 복제 (예를 들어 DRBD 사용)를 처리 할 수 ​​있습니다. 파일 시스템으로서 ESXi를 노드 위에 배치 할 때 동시성에 대한 좋은 솔루션을 모릅니다. 따라서 데이터 저장소는 ESX 동시 FS에 의해 관리됩니다. GFS2는 해당 환경에서 작동하지만 정확한 요구 사항을 확인해야하기 때문에 100 % 확실하지는 않습니다. 어쨌든 노드 아래에 강력한 SAN이 있으면 작업을 수행하는 것이 매우 쉽습니다.