누구든지 당신이 생각할 수있는 링크 / 서적 / 모든 것을 알고 있습니까? 작은 집 클러스터를 만드는 과정을 설명합니다 ( 집 에 말할 때 반드시 집에 머물러야한다는 의미는 아닙니다-상대적으로 저렴하고 작다는 것을 의미합니다). 오늘날 어떤 하드웨어가 적합한 지, 어떤 종류의 비용 분석에 중점을 둔 실험 목적?
여기 누군가가 해냈다면 공유 할 수있는 모든 경험에 감사드립니다.
누구든지 당신이 생각할 수있는 링크 / 서적 / 모든 것을 알고 있습니까? 작은 집 클러스터를 만드는 과정을 설명합니다 ( 집 에 말할 때 반드시 집에 머물러야한다는 의미는 아닙니다-상대적으로 저렴하고 작다는 것을 의미합니다). 오늘날 어떤 하드웨어가 적합한 지, 어떤 종류의 비용 분석에 중점을 둔 실험 목적?
여기 누군가가 해냈다면 공유 할 수있는 모든 경험에 감사드립니다.
답변:
헬머 가 떠오른다. :)
Thomas Sterling의 Beowulf Cluster Computing (Linux 용 및 Windows 용) 서적을 확인하십시오. 노드가 서로 대화하도록 MPI 사용에 대해 알아야 할 모든 것을 알려줍니다.
친구 & 나는 정말 거친 하드웨어를 사용하여 8 박스의 클러스터를 구축하고 Windows XP를 실행했습니다. 이것들은 Pentium I-90 MHz 박스와 같았습니다. Windows에 필요한 사양보다 훨씬 낮지 만 제대로 실행되었습니다. 또한 SQL Server 2000을 실행하고 (권장 사양보다 훨씬 낮음) 주식 옵션 가격에 대한 블랙 숄즈 모델링을 수행했습니다.
클러스터로 무엇을하고 싶은지 몰라도 어떤 종류의 하드웨어가 적합한 지 추천하기가 어렵습니다. 그러나 결론은 대부분의 클러스터를 구축 할 수 있다는 것입니다.
많은 실제 클러스터 노드를 갖는 대안은 가상 머신을 작성하는 것입니다. 실제 물리적 시스템은 하나 또는 두 개 뿐이지 만 더 많은 노드가있는 것을 시뮬레이션 할 수 있습니다. 이것은 적은 리소스 (공간, 전력, $$$)를 생성, 학습 및 사용하는 데 효과적입니다.
이것은 많은 비용 분석을 제공하지는 않지만 시작하게 할 것입니다. 클러스터 설정 유형은 작성하려는 작업 유형에 따라 다릅니다. 작은 노드가 많거나 몇 개의 강력한 노드 만있을 수 있습니다. 고려해야 할 공유 및 비공유 메모리 환경도 있습니다. 어떤 유형의 병렬 프로그램을 작성 하시겠습니까? 물리적 노드가 많을수록 더 많은 공간, 전력, 냉각 및 네트워크 상호 연결성을 고려해야합니다. 때로는 거대한 컴퓨터 하나만 갈 수도 있습니다 (공유 메모리 환경이 IMHO를 위해 프로그래밍하기가 더 쉽습니다).
나는 최근에 임의의 P4 상자, 우분투 및 LAM-MPI를 구축하기 위해 클러스터를 가지고 노는 것을 시작했습니다. 확실히 학습 경험이었습니다.
실제로 차고에 쌓인 p4 랩탑과 타워 몇 개였습니다. 빈민가 였지만 배우고 싶었습니다. 방금 100Mbps 이더넷 네트워크를 사용했습니다. 상자의 많은 하드웨어 구성을 다루고 싶지 않기 때문에 우분투를 선택했습니다. 우분투에는 필요한 드라이버가 많이있었습니다. 내가 작성한 응용 프로그램이 MPI 인터페이스가있는 C 기반 응용 프로그램이므로 Linux 환경이 필요했습니다. 이전에 사용한 것을 복제하려고했습니다. 모두 기타였습니다. 하드웨어는 표준이 아닙니다. 대부분의 클러스터에는 정확한 하드웨어가 있으므로 노드를 신속하게 추가 및 제거 할 수 있습니다.
수행하려는 작업에 따라 가상 머신 클러스터에서 시스템 개발을 고려하십시오. OpenVZ 또는 Parallel의 Virtuozzo 또는 Solaris Containers와 같은 OS 가상화 솔루션을 사용하면 전체 시스템 가상화 (예 : VirtualBox / VirtualPC / Xen / VMWare)에 비해 막대한 밀도까지 확장 할 수 있습니다. 그런 다음 실제로 일부 성능을 위해 시스템을 배포해야하는 경우 Amazon EC2 또는 이와 유사한 시스템에서 "클라우드에서"시스템을 실행하십시오.
먼저 LittleFE ( http://littlefe.net/ ) 또는 부트 가능한 클러스터 CD ( http://bccd.net/ ) 프로젝트를 개인적 으로 살펴 보는 것으로 시작합니다 . Ubuntu Cloud 프로젝트 ( http://www.ubuntu.com/cloud ) 도 참조하십시오 .
거의 모든 하드웨어 가 작동 해야 합니다. 저렴한 하드웨어를 픽업하기 위해 어떤 형태의 폐쇄 거래 또는 기계 임대를 시작하는 경향이 있습니다.