ceph가 OSD 드라이브로 하드웨어 RAID 어레이 (LUN)를 처리 할 수 ​​있습니까?


8

나는 ceph를 처음 접했고 ceph가 하드웨어 수준의 HBA를 지원하는지 확인하려고합니다.

슬프게도 정보를 찾을 수 없습니다. 내가 찾은 것은 OSD에 일반 디스크를 사용하는 것이 좋습니다. 그러나 이것은 요구 사항을 PCIe로, 디스크의 인터페이스를 높은 대역폭으로, CPU 요구 사항은 매우 높습니다. 하드웨어 RAID 컨트롤러는 이러한 요구 사항을 이미 해결했으며 PCIe, CPU 또는 기타 리소스를 사용하지 않고도 설정에 따라 높은 중복성을 제공합니다.

그래서 원하는 설정은 로컬 RAID 컨트롤러를 사용하는 것입니다.이 RAID 컨트롤러는 필요한 RAID 레벨에 관계없이 컨트롤러 레벨 (Raid 5, raid 6)에서 디스크 중복성을 처리합니다. ceph를 사용하여 호스트, 섀시, 랙, 행, 데이터 센터 또는 CRUSH에서 가능하거나 계획 가능한 모든 것 사이에서 더 높은 수준의 복제를 수행하려는 RAID LUN의 맨 위에

해당 설정에 경험이 있습니까?

권장 설정입니까?

이 하드웨어 RAID 통합에 대한 자세한 설명서가 있습니까?

답변:


7

당신은 당신이해야한다는 것을 의미 할 수 없습니다. RAID LUN을 Ceph에 매핑하는 것은 가능하지만 Ceph 기능의 적어도 일부는 쓸모없는 하나의 추상화 계층과 종류의 렌더링을 추가합니다.

메일 링리스트의 비슷한 스레드 :

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2017-September/021159.html


1
"Ceph 기능의 적어도 일부를 쓸모 없게"조금 더 정교하게 만들 수 있습니까? 포인트를 얻지 마십시오
cilap

1
Ceph의 전체 아이디어 ... OK, 주요 아이디어 중 하나! RAID LUN 인 "저장소 섬"을 관리하지 않는 것입니다.
BaronSamedi1958

0

그러나 이것은 요구 사항을 PCIe로, 디스크의 인터페이스를 높은 대역폭으로, CPU 요구 사항은 매우 높습니다.

실제로는 현대의 범용 CPU 및 상호 연결을 통해 많은 스토리지 워크로드가 제대로 제공됩니다.

예. RAID 컨트롤러는 하나의 섀시에있는 소수의 디스크로 중복성을 처리합니다. 그러나 Ceph와 같이 이미 중복 된 다중 노드 분산 스토리지 솔루션을 실행하면 비용과 복잡성이 증가합니다. Ceph에 이미 여러 복사본이있을 때 실제 디스크를 미러링하는 것이 왜 귀찮습니까?

이러한 솔루션의 구성 요소는 디스크의 무리 일뿐입니다. 같은 열기 컴퓨팅 스토리지의 열기 볼트. 인클로저에 30 개의 스핀들이 있으며 수십 개의 CPU 코어의 컴퓨팅 노드에 연결되어 있습니다. 수평 확장에 필요한만큼 노드를 추가하십시오. 처리량을 최대화하려는 경우 해당 계산을 Ceph 전용으로 남겨 둘 수 있습니다.


하드웨어 RAID 벤치 마크와 비교하여 실제 CPU, 메모리 및 디스크 벤치 마크에 대한 사실이 있습니까? 하드웨어 RAID 어레이를 사용하면 하드웨어 컨트롤러가 처리하기 때문에 CPU 및 mem에 대한 요구 사항이 낮습니다.
cilap

난 아니야 어쨌든 자신 만의 벤치 마크를하고 싶을 것입니다. CPU는 초당 수십억 사이클을 수행하고 상호 연결 (PCIe)은 초당 수십억 전송을 수행합니다. RAID 컨트롤러를 자유롭게 사용할 수 있으며 분산 스토리지 노드에는 필요하지 않은 것 같습니다.
John Mahowald

-1

권장되는 설정은 단일 디스크 또는 RAID-1 쌍의 디스크를 사용하는 것입니다.

단일 SAS 컨트롤러 (또는 JBOD 모드의 RAID 컨트롤러)는 아무런 문제없이 수백 개의 디스크를 구동 할 수 있습니다.

매우 큰 어레이를 사용하면 단일 장애 지점과 "핫 포인트"를 피하기위한 CEPH의 목적이 무너집니다. 또한 실제로 중복성을 해칠 것입니다.

36 개의 디스크 서버 섀시 (일반적인 Supermicro와 유사한 하드웨어)를 사용하여 8TB 드라이브를 사용하여 1 PB CEPH 클러스터를 구축한다고 가정 해 보겠습니다. 스토리지 용량 및 안정성 측면에서 RAID 유무에 관계없이 설정을 비교해 보겠습니다.

  • RAID-6을 사용하려면 5 개의 섀시 (및 10 개의 OSD)가 필요합니다.

    • 각 섀시에는 2 개의 18 개의 디스크 RAID 어레이가 있습니다.
    • 사용 가능한 스토리지는 1024TB입니다.
    • 다중 디스크 충돌의 경우 256TB를 다시 작성해야합니다.
  • CEPH와 5 개의 섀시에는 180 개의 OSD가 있습니다.

    • 사용 가능한 용량이 약간 우수합니다 (삭제 코딩 사용) : 1152TB
    • 디스크가 여러 번 충돌하는 경우 실패한 디스크 수만 다시 작성해야합니다 (전체 서버가 아닌 한 항상 256TB 미만).

Ceph의 요구 사항을 받고 있지만 여전히 한 가지 중요한 질문에 대답하지 않습니다. 36 드라이브 섀시의 요구 사항은 무엇입니까? Afaik 당신은 ceph의 설명에서 36 코어가 필요합니다. 또한 귀하의 예제에 어떤 구성을 제안 하시겠습니까? 복제 노력은 무엇이며 벤치 마크는 무엇입니까?
cilap jan

그냥 잊었다. Afaik 설정에는 관리를 위해 더 많은 인스턴스 또는 더 많은 서버가 필요합니다.
cilap jan

@cilap 그것은 실제로 필요한 성능에 달려 있습니다. 일반적으로 OSD 당 1 개의 코어가 필요하지 않습니다. 코어의 절반 정도면 충분합니다. 소거 코딩의 성능은 전체 복제보다 열등합니다.
wazoox

어느 쪽이든 MDS에 대해서는 언급하지 않았습니다. 클러스터 요금에 따라 스토리지 노드를 MDS 및 MON 서버로 사용할 수 있습니다.
wazoox
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.