IPMI 측 대역은 이더넷 포트를 호스트와 어떻게 공유합니까?


23

IPMI / BMC 기능을 갖춘 수많은 Supermicro 머신이 있습니다. 이러한 컴퓨터 중 일부는 온보드 BMC를 사용하는 반면 다른 컴퓨터는 애드온 카드를 사용합니다 .

비용 절감 및 케이블 연결 요구 사항으로 인해 측 파대 사용을 고려하고 있습니다. 그러나 일부 측 파대 세부 사항은 의미가 없습니다.

측 파대에는 마더 보드의 이더넷 포트에 연결된 하나의 이더넷 케이블이 필요합니다. 그런 다음이 네트워크 포트는 IPMI 시스템과 운영 체제간에 공유됩니다. 이 Supermicro 설명서 에서 읽은 내용에서 "SIMSO IPMI 카드의 LAN1에 사용하는 것과 동일한 MAC 주소를 사용하십시오". 그러나 IPMI는 운영 체제와 다른 IP 주소를 가져야합니다.

이 동일한 물리적 네트워크 포트에서 듣고 전송할 수있는 두 개의 장치 (운영 체제 및 IPMI)를 어떻게 가질 수 있습니까? 패킷이 인터페이스에 도착하면 시스템은이 패킷이 운영 체제 용인지 IPMI 시스템 용인지를 어떻게 결정합니까?

이러한 패킷은 CPU 인터럽트를 사용하여 CPU에 의해 처리됩니까? 운영 체제에서 IPMI 인터페이스에 대한 패킷을 볼 수 있습니까?

답변:


39

온보드 IPMI를 사용하여 많은 SuperMicro 서버를 관리합니다. 공유 (일명 측파) 이더넷과 사랑 / 증오 관계가 있습니다. 일반적으로 이러한 작동 방식은 LAN1에 2 개의 (다른) MAC 주소가있는 것으로 보입니다. 하나는 IPMI 인터페이스 용이고 다른 하나는 표준 Broadcom NIC입니다. IPMI 인터페이스 (MAC 주소를 기반으로 한 계층 2) 로의 트래픽은 운영 체제 수준 아래에서 마술처럼 가로 채어 실행중인 OS에서 볼 수 없습니다.

케이블 연결이 적다는 점에서 이미 한 가지 좋은 점에 도달했습니다. 이제 몇 가지 단점을 다루겠습니다.

  • IPMI 인터페이스를 안전한 방식으로 별도의 서브넷으로 분할하는 것은 특히 어렵습니다. 트래픽은 모두 동일한 케이블을 통과하기 때문에 항상 거의 모든 IPMI 인터페이스와 LAN1 인터페이스가 동일한 IP 서브넷에 있어야합니다. 최신 마더 보드에서 IPMI 카드는 이제 IPMI NIC에 VLAN 할당을 지원하므로 약간의 분리가 가능하지만 기본 OS는 항상 해당 VLAN의 트래픽을 감지 할 수 있습니다. 이전 BMC 컨트롤러에서는 VLAN을 전혀 변경할 수 없지만 ipmitool 또는 ipmicfg와 같은 도구는 표면적으로 변경할 수 있지만 작동하지 않습니다.
  • 시스템에서 장애 지점을 중앙 집중화하고 있습니다. 스위치에서 구성을 수행하고 어떻게 든 자신을 차단합니까? 축하합니다. 이제 서버에 대한 기본 네트워크 연결과 IPMI를 통한 백업을 차단했습니다. NIC 하드웨어 고장? 축하합니다, 같은 문제입니다.
  • 초기 SuperMicro IPMI BMC는 네트워크 인터페이스로 이상한 일을 한 것으로 유명했습니다. 내장 된 IPMI 포트와 전용 IPMI 포트의 사용 여부는 종종 전원을 켤 때 (다시 시작하지 않음) 결정되며 거기서 전환되지 않습니다. 정전이 발생하고 스위치에 전원이 충분히 빨리 공급되지 않으면 IPMI가 잘못된 설정을 자동 감지하여 작동하지 않을 수 있습니다.
  • 저는 개인적으로 측 파대 IPMI가 안정적으로 작동하도록하는 이상한, 설명 할 수없는 연결 문제가 많이있었습니다. 때로는 몇 분 동안 인터페이스 IP를 핑하지 못했습니다. 때로는 할당 된 VLAN에서 패킷이 급증하지만 트래픽이 모두 손실 된 것으로 보입니다.

이것은 sideband-vs.-dedicated와는 아무런 관련이 없지만 호스트 시스템에 액세스하기위한 도구는 잘 작성되지 않았습니다. 오래된 IPMI 카드는 로컬 인증 이외의 다른 기능을 지원하지 않으므로 암호 교체가 완전히 어려워집니다. KVM-over-IP 기능을 사용하는 경우, 서명이 잘못되고 만료 된 Java 애플릿 또는 Windows에서만 작동하며 UAC 권한 상승이 필요한 이상한 Java 데스크탑 응용 프로그램을 사용하고 있습니다. 키보드 항목이 가장 드물게 발견되는 경우가 종종 있으며, "중지 된 키"가 표시되어 10 번 시도하지 않고 로그인 할 때 암호를 입력 할 수 없습니다.

결국이 구성으로 40 개 이상의 시스템을 작동시킬 수있었습니다. IPMI 인터페이스를 별도의 서브넷에 VLAN으로 연결할 수있는 대부분의 최신 시스템이 있으며 ipmitool을 통한 직렬 콘솔을 주로 사용합니다. 차세대 서버의 경우 KVM 지원 기능을 갖춘 Intel의 AMT 기술을 보고 있습니다 . 이것이 서버 공간으로 만들어 지므로 IPMI를 이것으로 대체하는 것을 볼 수 있습니다.


매우 자세한 설명에 감사드립니다. 트래픽이 '운영 체제 수준 아래에서 마술처럼 가로 채어 실행중인 운영 체제에서 볼 수없는 방법'에 대한 자세한 정보가 있습니까? 우리는 그것이 어떻게 작동하는지 이해하려고 노력하고 있습니다.
Stefan Lasiewski

간단한 하드웨어 브리지가 트릭을 수행합니다.
Antoine Benkemoun

큰 대답과 네 교통이 연결되어 있습니다
Jim B

2
Stephan-Antoine과 Jim은 의견에서 설명했습니다. 하드웨어 브리지 일 가능성이 큽니다. 실제 NIC 인터페이스를 2 개의 가상 NIC (IPMI 용, 1 개는 메인 컴퓨터 용)에 연결하는 실리콘으로 구현 된 작은 스위치로 생각하십시오.
natacado

그 설명에 감사드립니다. 그것이 내가 생각하는 방식과 정확히 같지만, 다른 사람들 (네트워크 관리자, sysadmins)과이 문제를 논의 할 때 많은 의견이 일치하지 않습니다.
Stefan Lasiewski

4

이전에 이러한 특정 카드를 사용한 적이 없었습니다. 사용한 카드는 IPMI 트래픽에 다른 MAC을 가지고 있거나 포트가 IPMI 트래픽 전용입니다. IPMI는 MAC을 포함하여 NIC를 공유 할 수 있습니다.

IPMI는 OS와 다른 IP를 가지므로 패킷은이를 기반으로 올바르게 지정됩니다. IPMI 트래픽은 CPU에 절대로 영향을 미치지 않으며 측 파대 관리 IC에서 모두 처리됩니다.


내가 참조. 일부 시스템의 일부 IPMI 카드는 "MAC 주소를 공유"(Supermicro 및 Dell이이 작업을 수행함)하고 다른 시스템은 다른 MAC 주소를 사용합니다 (IBM이 수행함)
Stefan Lasiewski

3
Dell 서버에서 IPMI 인터페이스는 동일한 물리적 네트워크 포트이지만 다른 MAC을 갖습니다.
sciurus

2

사이드 밴드를 사용한다는 것은 서버에서 BMC와 대화 할 수 없다는 일반적인 조언에 추가하고 싶었습니다. 트래픽이 걸러진 것 같습니다. IBM / Dell / HP 키트에서 시도했습니다.


방금 나에게도 영향을 미쳤습니다. ESXI 및 VM이 BMC에 액세스 할 수 있지만 (내부 호스트는 가능) 왜 그렇습니까? NSCI (공유 IPMI) 포트의 트래픽 아웃 바운드는 스위치를 누르고 동일한 포트로 리바운드해야합니다. AFAIK 일반적인 L2 스위치는 그렇지 않습니다.
kevinf

1

나는 그의 초기 응답에서 natacados의 마지막 글 머리 기호를 백업 할 것이고, IPMI 세션은 임의로 시간 초과 될 것입니다 (나는 상자에서 콘솔을보기 위해 supermicro의 IPMIView를 사용합니다). 펌웨어 업그레이드 및 전원주기와 같은 것은 설명 할 수없고 무작위로 실패하는 것 같습니다.

훌륭한 답변 natacado, 엄청나게 철저합니다.


1
IPMI 펌웨어가 최신인지 확인하십시오! IPMI 펌웨어 버전과 IPMIView 소프트웨어 버전 사이에 연결이 충분히 충분하지 않은 경우 KVM 세션을 시작하려고 할 때 일반적인 "연결 오류"가 발생합니다! 최신 IPMI 펌웨어로 업데이트하면 (파일의 IPMIView 유틸리티 주 메뉴에서 수행 할 수 있음) 수정했습니다. : p
Jeff Atwood
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.