MD 시뮬레이션을 위해 실험실에서 클러스터를 구축하는 것보다 클라우드에서 클러스터를 구축하는 것이 언제 저렴합니까?

대한 아마존 EC2 컴퓨팅 클러스터 비용 $ 800 $ (1000)는 삼년의 과정을 통해 물리적 CPU 코어 당 (듀티 사이클에 따라 다름). 우리의 마지막 하드웨어 획득 과정에서, 랩에서 Amazon의 클러스터와 비슷한 48 개의 코어 하드웨어를 코어 당 약 300 달러에 집어 들었습니다.

여기에 뭔가 빠졌습니까? 분자 역학 시뮬레이션과 같은 높은 CPU 작업을 위해 클라우드에서 클러스터를 구축하는 것이 경제적 인 상황이 있습니까? 아니면 항상 댕기 기계를 직접 만들고 돌보는 것이 더 나을까요?

(실험실은 서버 룸에서 전기 비용을 지불하지는 않지만 (적어도 직접적이지는 않지만) 이러한 이점을 가지고 있어도 아마존은 여전히 ​​매우 비싸 보입니다.

내 생각에 클라우드 기반 리소스를 사용하는 가장 큰 장점은 유연성입니다. 즉, 워크로드가 변동하는 경우 필요한만큼만 지불하면됩니다.

애플리케이션에서 그렇지 않은 경우 (예 : 수량화 가능하고 지속적인 워크로드가 있음을 알고있는 경우) 자체 클러스터를 구축하는 것이 좋습니다. 클라우드에서는 유연성에 대한 비용을 지불하고, 유연성이 필요하지 않은 경우 필요하지 않은 비용을 지불합니다.

워크로드가 유연하지만 다소 강렬하고 특정 하드웨어 기능에 의존하는 경우 (aeismail의 답변 참조) 대학의 다른 사람들과 클러스터를 공유하여 유휴주기를 상쇄 할 수 있습니다. 저의 오래된 대학은 "주주 모델"과 같은 공유 클러스터를 운영하는데,이 그룹은 모든 그룹이 하드웨어에 대한 투자에 비례하는 컴퓨팅 성능의 공유 및 유휴주기를 누구나 사용할 수 있도록 보장합니다. 유일한 어려움은 클러스터 관리를 중앙 집중화하는 것입니다.

MD 시뮬레이션으로 클라우드 컴퓨팅을 수행 할 때 고려해야 할 사항이 있습니다. 예를 들어 서버 팜에서 이러한 작업이 실행될 프로세서의 물리적 레이아웃에 대해 걱정해야합니다. 그 이유는 시뮬레이션의 크기와 실행중인 계산 종류 (예 : 정전기가있는 시스템)에 따라 FFT에 크게 의존하고 거대한 클러스터의 다른 프로세서로 전자를 밀어 넣을 수 있기 때문입니다. 총 계산 시간의 시간이 많이 걸리는 부분이 될 수 있습니다.

또한 MD와 같이 데이터를 많이 사용하는 경우 서버에 대한 빠른 업로드 및 다운로드 연결과 데이터 저장에 대한 상당한 제한이 있는지 확인해야합니다. 그렇지 않으면 많은 비용 절감이 생산성 및 스토리지 비용 손실로 인해 줄어들 수 있습니다.

우리 연구소는 코어 당 500 € 미만의 비용으로 로컬 클러스터에 약 240 개의 코어를 구입했습니다. 이 비용에는 4 년간 캠퍼스 내에서 호스팅 및 관리와 서비스가 포함됩니다. 매년 엄청나게 싼 것 같습니다. 아마도 이것이 두 가지 세계에서 가장 좋을 것 같습니다. 로컬 액세스이지만 자체 IT 팀이 없어도 전문적으로 유지 관리됩니다.

Amazon EC2와 같은 클라우드 서비스에 대한 직접적인 경험은 없지만 실제 코어 당 비용은 인용 한 것보다 훨씬 큽니다. 초기 구매, 전기, 냉각, 건물 내 공간, 교체 하드웨어 비용입니다. 관리 비용과 함께 : OS 및 클러스터 서비스 설정, OS를 최신 상태로 유지, 대기열 문제 해결 등.이 총액이 초기 구매 비용의 두 배인 경우에는 전혀 놀라지 않을 것입니다. 물론 유연성을 얻을 수 있습니다.

나에게이 모델은 규모가 축소되었습니다. 실제로 대규모 클러스터 (1000 코어 이상)를 사용하는 경우 전문가를 바쁘게 유지하기에 충분하기 때문에 작업 시간, 수리, 시스템 관리를 상각 할 수 있습니다. 헌신적 인 사람이 할 가치가없는 작은 클러스터가 있다면 과학을 수행 해야하는 첫 번째 직업을 가진 누군가가 그것을 할 수 있습니다.이 경우이 사람의 시간은 그러한 행정 업무에 거의 소비되지 않습니다. 클라우드 서버와 같은 주문형 서비스가 빛을 발하는 곳입니다.

이미 훌륭한 답변 중 일부를 보완하기 위해 고려해야 할 또 다른 요소가 있습니다.

• 비용에 관계없이 어떻게 지불합니까?

어떤 상황에서도 하드웨어 비용을 지불 하지 않지만 EC2와 같은 컴퓨팅 시간을 지불 하는 사소한 수의 보조금이 발생했습니다 . 따라서 일부 자금 지원 상황에서는 구조화되지 않은 자금 또는 랩 스타트 업 패키지로 소규모 "테스트 베드"클러스터에 자금을 지원할 수 있지만 대규모 프로젝트의 경우 컴퓨팅 비용에 자금을 지원하는 유일한 방법 일 수 있습니다.

NIH를 고려하십시오.

ADP / 컴퓨터 서비스 : 여기에 포함 된 서비스는 슈퍼 컴퓨터에서 컴퓨팅 시간을 예약하거나 통계를 실행하는 데 도움이되는 특수 소프트웨어를 얻는 것과 같은 리서치 특정 컴퓨터 서비스 여야합니다. 이 섹션에는 표준 데스크탑 사무용 컴퓨터, 랩톱 또는 기관에서 제공하는 표준 기술 지원이 포함되어서는 안됩니다. 이러한 유형의 요금은 식음료 비용에서 발생합니다.

클러스터 머신을 $ 5,000 이상의 장비 제목 아래로 내려 놓을 수는 있지만 좋은 주장을 할 수는 있지만 그에 대해 소름 끼치는 검토 자와 그러한 유지 관리의 지속적인 비용에 대해 주저하는 대학을 모두 발견했습니다. 체계.

일부 보조금은 더욱 엄격합니다. 내가 현재 가지고있는 보조금 하나는 다음과 같습니다.

자금은 컴퓨터 하드웨어에 사용될 수 없습니다

EC2 기반 또는 많은 아날로그 중 하나가 실제로 하드웨어를 구입하는 것보다, 특히 기관이 간접 비용을 부담하는 경우 직접 비용으로 클러스터를 지불하는 것이 더 쉬운 경우가 많습니다. 이것은 당신에게 해당되지 않을 수도 있지만, 일부에게는 해당 될 수도 있습니다.

이미 많은 신의 답변이 있습니다. 두 개의 작은 점을 추가하고 싶습니다.

1.) IBM이 비슷한 것을 제공한다는 것을 알고 있습니다. 따라서 애플리케이션에 따라 다른 오퍼를 비교할 가치가 있습니다. 비용뿐만 아니라 장비와 관련하여.

2.) 물론 대부분의 랩은 너무 작아서 자체 클러스터에 투자 할 수 없습니다. 따라서 문제는 여러 랩을 함께 모으고 다른 랩간에 공유되는 클러스터에 투자 할 수 없는지 여부입니다. 이는 명백한 비용 분담 효과 외에보다 균일 한로드 분배의 이점도 있습니다.