HP Smart Array 410 / i 디스크 컨트롤러의 Hadoop JBOD 디스크 구성


8

나는 hadoop 클러스터를 설정하는 데 사용할 수있는 hw의 평가 단계에 있습니다. 이 hw는 리퍼브되어 있으며 (Smart Array 410 / i 컨트롤러가 장착 된 HP G6 서버) 아마도 사용해야합니다. 아직 사용하지 않은 것 같습니다. 410 / i 컨트롤러가 hadoop에 필요한 JBOD 구성을 허용하지 않는다는 것을 읽었습니다.이 진술을 확인할 수있는 사람이 있습니까? 아니면 아닙니다? 해결 방법은 모든 단일 디스크에서 raid0을 구성하는 것일 수 있습니다. 다시 확인하거나 다른 구성 방법이 있습니까? 감사합니다 Rob

답변:


7

Smart Array 410 / i 컨트롤러는 메모리 카드 (옵션)를 추가하지 않고 2 개의 RAID 장치 만 만들 수 있습니다. 따라서 하드웨어에 2 개의 드라이브 만 있다면 괜찮을 것입니다. 2 raid0으로 만들 수 있습니다. 드라이브가 2 개 이상인 경우 부품 번호 462974-001-256MB 배터리 백업 쓰기 캐시 BBWC 메모리 모듈을 구입해야합니다. 확실하지 않으면 구성 유틸리티에서 사용해보십시오. 메모리 애드온을 구입 해야하는 경우 구성된 레이드 장치 수에 제한이 있다고 불평합니다.

최근에 RAID0 모드에서 그 중 하나와 12 개의 디스크 중 하나를 사용하여 ZFS 서버를 설정하고 정상적으로 작동합니다. 실제 RAID 컨트롤러의 거의 모든 기능을 비활성화 할 수 있기 때문에 JBOD 모드와 사실상 동일합니다.


4
해당 컨트롤러에서 ZFS와 함께 사용할 RAID 0을 여러 개 만들 수 있지만 디스크가 고장 나면 문제가 발생합니다. ZFS는 재부팅하지 않으면 교체를 인식하지 못합니다.
ewwhite

4

이 상황은 ZFS 스토리지 솔루션 용 하드웨어를 설계 할 때 발생하는 것과 유사합니다. ZFS는 소프트웨어 RAID이며 디스크 관리를 위해 서버의 리소스를 활용합니다. 하드웨어 RAID는 권장되지 않으며 Smart Array 컨트롤러에서는 JBOD를 사용할 수 없습니다. 따라서 ZFS에 ProLiant 시스템을 사용할 때는 Smart Array 컨트롤러를 JBOD 모드 또는 기본 SAS / SATA HBA가있는 것으로 교체합니다.

일반적으로 이는 RAID 기능이없는 LSI SAS HBA입니다. LSI 9211-8i 또는 9205e를 선호합니다.

ZFS SAS / SATA 컨트롤러 권장 사항에서 권장 사항을 참조하십시오.


0

Pxxx 범위는 모든 디스크에서 하나의 어레이를 생성 한 다음 동등한 크기의 여러 RAID0 어레이를 생성하는 경우 직접 JBOD 구성을 허용하지 않지만 기능적 유사성 측면에서 볼 수 있습니다. 그것은 또한 하둡의 요구 사항을 조금 모호하다고 말했다. 먼저 BIOS에 의해 숨겨진 실제 디스크 구성을 알 수있는 방법이 없으며 두 번째로 HP 컨트롤러에 대한 생각이 너무 많기 때문에 지나치게 규범 적으로 보이기 때문입니다. 어레이가 디스크를 관리하는 데 문제가 있습니까?


3
답변에 감사드립니다. HDFS (Hadoop 파일 시스템)에는 여러 노드에 블록을 복제하여 중복성이 기본 제공됩니다. I / O가 JBOD의 RAID 어레이 I / O에서 가장 느린 디스크의 속도에 의해 제한되므로 평균 속도가 가장 느린 디스크의 속도보다 빠르기 때문에 RAID 0은 HDFS에서 사용하는 JBOD 구성보다 느립니다. 야후의 테스트에 따르면 JBOD가 RAID 0보다 성능이 우수함을 보여주었습니다 : markmail.org/message/xmzc45zi25htr7ry
nysalsa

0

사용 가능한 phisical 디스크마다 RAID0을 구성 할 수 있습니다.

디스크가 8 개인 경우 다음과 같은 결과가 나타납니다 (CentOS 6).

# hpacucli ctrl all show config | grep RAID
      logicaldrive 1 (558.9 GB, RAID 0, OK)
      logicaldrive 2 (558.9 GB, RAID 0, OK)
      logicaldrive 3 (558.9 GB, RAID 0, OK)
      logicaldrive 4 (558.9 GB, RAID 0, OK)
      logicaldrive 5 (558.9 GB, RAID 0, OK)
      logicaldrive 6 (558.9 GB, RAID 0, OK)
      logicaldrive 7 (558.9 GB, RAID 0, OK)
      logicaldrive 8 (558.9 GB, RAID 0, OK)

1
이러지 마십시오. 핫 스왑 기능이 손실되고 논리 드라이브 블록 장치 열거 문제가 발생합니다. 고장난 디스크 == 고장난 논리 드라이브 == 교체시 새 장치가 생성되었습니다.
ewwhite

1
"어떻게 스왑 기능"? "온라인"모드에서 고장난 디스크를 교체 할 수 없습니다. 즉 고장난 디스크를 교체하기 전에 서버의 전원을 꺼야합니까? 장치 enumaration에 관해서는, 나는 그것이 공정한 포인트라고 생각합니다.
sl0n
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.