쓰기 속도 요구 사항 : 1.1GB / s 가능성?

우리는 최고 성능에서 시간당 50GB ( "쓰기 헤드") x 75GB 의 데이터 를 푸시 할 수있는 기계를 작동시킬 것 입니다. 쓰기 속도가 ~ 1100MB / s의 최고 성능입니다. 머신에서 그것을 얻으려면 두 개의 10GBi 라인이 필요합니다. 내 질문은 어떤 종류의 서버 + 기술이 이러한 데이터 흐름을 처리 / 저장할 수 있습니까?

현재 데이터 저장을 위해 ZFS와 함께 작업하지만 쓰기 속도는 문제가되지 않았습니다. ZFS (리눅스의 zfs)가 옵션일까요? 우리는 또한 많은 데이터를 저장해야하는데, "IT 안내서"는 총 50-75TB 정도를 제안합니다. 따라서 우리가 처음 태어난 아이를 제공하지 않는 한 모든 SSD가 될 수는 없습니다.

훌륭한 답변을 기반으로 한 추가 내용 :

• 최대 시간은 최대 50x75GB / 시간으로 24 시간 미만 (대부분 <6 시간)
• 우리는 이것이 곧 일어날 것으로 예상하지 않습니다. 대부분 5-10x75GB / hour를 실행할 것입니다.
• 사전 알파 머신이지만 요구 사항을 충족해야합니다 (많은 물음표가 사용 중임에도 불구하고)
• 머신에서 서버로의 연결로 NFS 를 사용 합니다.
• 레이아웃 : 생성 기계-> 저장소 (이것)-> (안전한 공격대 6)-> 계산 클러스터
• 따라서 읽기 속도는 필수 는 아니지만 계산 클러스터에서 사용하는 것이 좋습니다 (그러나 이것은 완전히 선택 사항입니다)
• 대부분 큰 데이터 파일 일 것입니다.

물론 ... Linux에서 ZFS는 올바르게 설계된다면 가능합니다. ZFS 디자인 이 열악한 경우가 많지만 요구 사항을 충족 할 수 있습니다.

따라서 주요 결정 요인은이 데이터 스토리지 시스템에 연결하는 방법입니다. NFS입니까? CIFS? 클라이언트가 스토리지에 어떻게 연결되어 있습니까? 또는 등 처리가 완료 에 스토리지 시스템?

좀 더 자세한 내용을 작성하면 도움을받을 수 있는지 확인할 수 있습니다.

예를 들어 이것이 NFS이고 동기식 마운트 인 경우 Linux에서 ZFS를 확장하여 쓰기 성능 요구를 충족시키고 여전히 장기 스토리지 용량 요구 사항을 유지할 수 있습니다. 데이터를 압축 할 수 있습니까? 각 클라이언트는 어떻게 연결되어 있습니까? 기가비트 이더넷?

편집하다:

좋아, 물어볼 게

대략 $ 17k- $ 23k 이며 2U 랙 공간에 적합한 사양입니다 .

HP ProLiant DL380 Gen9 2U Rackmount
2 x Intel E5-2620v3 or v4 CPUs (or better)
128GB RAM
2 x 900GB Enterprise SAS OS drives 
12 x 8TB Nearline SAS drives
1 or 2 x Intel P3608 1.6TB NVMe drives

이 설정은 하드웨어 RAID6 또는 ZFS RAIDZ2를 사용하여 80TB의 사용 가능한 공간을 제공합니다.

초점은 NFS 기반 성능 (동기식 쓰기 가정)이므로 P3608 NVMe 드라이브 (스트라이프 SLOG)를 사용하여 모든 것을 쉽게 흡수 할 수 있습니다. 순차적 쓰기에서 3GB / s를 수용 할 수 있으며 설명한 작업 부하를 지속적으로 처리 할 수있을만큼 높은 내구성 등급을 가질 수 있습니다. SLOG 사용 사례에서 일부 보호 기능을 추가하기 위해 드라이브를 쉽게 초과 프로비저닝 할 수 있습니다.

NFS 워크로드를 사용하면 쓰기 작업이 통합되어 회전 디스크로 플러시됩니다. Linux에서는 15-30 초마다 플러시하도록 조정합니다. 회전 디스크가이를 처리 할 수 ​​있으며이 데이터가 압축 가능한 경우 훨씬 더 많은 이점을 얻을 수 있습니다.

4 개의 개방형 PCIe 슬롯과 이중 포트 10GbE FLR 어댑터 용 추가 포트를 사용하여 서버를 확장 할 수 있습니다. 따라서 네트워킹 유연성이 있습니다.

이러한 극단적 인 쓰기 속도를 위해서는 ZFS, BTRFS 또는 CoW 파일 시스템을 사용하는 것이 좋습니다. 대용량 / 스트리밍 전송에서 매우 효율적인 XFS를 사용합니다.

구체적인 조언을 제공하기 위해 누락 된 정보가 많이 있습니다 (이러한 데이터에 어떻게 액세스 할 계획입니까? 읽기 속도가 중요합니까? 큰 덩어리로 쓰려고합니까? 등). 그러나 몇 가지 일반적인 조언은 다음과 같습니다.

• 원시 파티션 또는 지방 LVM 볼륨 위에 XFS를 사용하십시오 (씬 볼륨을 사용하지 마십시오)
• 대량의 데이터 쓰기에 효율적으로 대처하기 위해 ioblock 크기 조정
• powerloss 보호 쓰기 캐시가있는 하드웨어 RAID 카드를 사용하십시오. 하드웨어 RAID 사용에 문제가없는 경우 소프트웨어 RAID10 구성표를 사용하십시오 (패리티 기반 RAID 모드는 피함)
• LACP와 함께 2 개의 10Gb / s 네트워크 인터페이스 사용 (링크 집계)
• 점보 프레임을 활성화해야합니다
• NFS를 사용할 때는 확장 성을 높이기 위해 pNFS (v4.1) 를 사용하는 것이 좋습니다
• 확실히 다른 많은 것들 ...

25Gbps 이더넷은 이미 경계 주류 인 반면 PCIe 기반 NVMe는 해당 트래픽을 쉽게 랩핑합니다.

참고로 최근 6 개의 NVMe 드라이브가있는 4 개의 일반 듀얼 제온 서버 (이 경우에는 HPE DL380 Gen9)를 사용하여 작은 '로그 캡처'솔루션을 구축했습니다. IP over Infiniband를 사용했지만 25 / 40Gbps NIC는 동일합니다. 서버 당 최대 8GBps를 캡처하고 있습니다.

기본적으로 저렴하지는 않지만 요즘 매우 가능합니다.

큰 소리처럼 들리지 않습니다. 당사의 현지 하드웨어 공급 업체는이를 표준 제품 으로 제공합니다. CCTV 녹화 모드에서 1400MB / s를 지속 할 수 있으며, 이는 최고 요구 사항보다 어렵습니다.

(링크는 기본 12GB 구성이지만 20x4TB도 옵션입니다.이 특정 모델 서버에 대한 개인적인 경험은 없습니다.)

1100MB / s의 순차적 쓰기는 최신 하드웨어의 문제가 아닙니다. 8x5900 RPM 랩탑 드라이브, 2x15000 RPM 드라이브 및 2x7200 RPM 드라이브를 사용한 나의 홈 설정은 16GB 일회성 페이로드로 300MB / s를 유지합니다.

네트워크는 10GbE (파이버 케이블, 이더넷의 9000 MTU)이며 응용 프로그램 계층은 Samba 3.0입니다. 스토리지는 3 개의 4 드라이브 raid5 볼륨에 3 개의 스트라이프가있는 raid50으로 구성됩니다. 컨트롤러는 포트 당 최대 6Gb / s의 LSI MegaRAID SAS 9271-8i입니다 (저는 느린 포트 멀티 플라이어가 있습니다).

노련한 시스템 관리자에게 문의하면 요구 사항을 충족시킬 컨트롤러와 드라이브를 정확하게 알려줄 수 있어야합니다.

12Gb / s 컨트롤러를 사용하여 각각 8 개의 7200 RPM 드라이브 (거의 모든 드라이브에서 수행)의 2 개의 미러 스트라이프를 구성 할 수 있다고 생각합니다. 3-4 TCP 연결을 시작하여 링크를 포화시키고 단일 10GbE 카드 쌍으로 처리 할 수없는 경우 4 개의 카드를 사용하십시오.

접선이지만 이중 10GbE 링크 대신 InfiniBand 사용을 고려하십시오. 56Gbps Infiniband 카드는 매우 저렴하거나 100Gbps 카드를 훨씬 더 많이 얻을 수 없으며 Linux에서는 IB를 통한 RDMA와 함께 NFS를 쉽게 사용할 수 있습니다. 처리해). 스위치가 필요 없으며 InfiniBand 카드 2 개와 직접 연결 케이블 (또는 더 긴 거리가 필요한 경우 InfiniBand 파이버 케이블)이 필요합니다.

MCB191A-FCAT와 같은 단일 포트 Mellanox 56Gbps 카드 (8x PCIe 3.0)는 700 달러 미만이며 2 미터 구리 직접 연결 케이블은 80 달러입니다.

모든 사용 사례에서 성능은 일반적으로 10GbE를 물 밖으로 날려 버립니다. InfiniBand를 모두 사용할 수없는 많은 다른 클라이언트에서 서버에 액세스 할 필요가 없다면 Mellanox의 스위치는 10GbE와 40GbE를 IB에 연결할 수 있지만 단점은 조금 더 있습니다. 당연하지).

그러나 ZFS를 사용하여이 작업을 수행 할 수 있지만 FreeBSD의 네트워크 스택 속도가 빠르므로 FreeBSD를 사용하는 것이 좋습니다. 단일 시스템에서 100GBit가 가능합니다.

1100MBps는 많이 들리지만, 일반 하드 드라이브 만 사용하여 현실적으로이를 달성 할 수 있습니다. 75TB의 공간이 필요하므로 미러에서 24 개의 8TB 하드 드라이브를 사용할 수 있습니다. 이렇게하면 단일 드라이브의 12 배속 쓰기 속도와 24 배속 드라이브 읽기 속도가 제공됩니다. 이러한 드라이브의 쓰기 속도는 100MBps보다 높기 때문에 대역폭을 쉽게 처리 할 수 ​​있습니다. 쓰기 속도가 매우 느리기 때문에 SMR 드라이브를 얻지 마십시오.

ZFS는 모든 블록에 대한 체크섬을 만듭니다. 이것은 단일 스레드로 구현됩니다. 따라서 차단하지 않으려면 클럭 속도가 상당히 빠른 CPU가 있어야합니다.

그러나 정확한 구현 세부 사항은 세부 사항에 크게 의존합니다.

우리는 퓨즈 클라이언트를 통해 10G NIC 덤프 데이터를 Gluster 클러스터에 페깅했습니다. 3.0 이후로 달성 할 수있는 성능을 믿지 못할 약간의 튜닝 비트가 필요합니다.