MD 시뮬레이션을 위해 실험실에서 클러스터를 구축하는 것보다 클라우드에서 클러스터를 구축하는 것이 언제 저렴합니까?


23

대한 아마존 EC2 컴퓨팅 클러스터 비용 $ 800 $ (1000)는 삼년의 과정을 통해 물리적 CPU 코어 당 (듀티 사이클에 따라 다름). 우리의 마지막 하드웨어 획득 과정에서, 랩에서 Amazon의 클러스터와 비슷한 48 개의 코어 하드웨어를 코어 당 약 300 달러에 집어 들었습니다.

여기에 뭔가 빠졌습니까? 분자 역학 시뮬레이션과 같은 높은 CPU 작업을 위해 클라우드에서 클러스터를 구축하는 것이 경제적 인 상황이 있습니까? 아니면 항상 댕기 기계를 직접 만들고 돌보는 것이 더 나을까요?

(실험실은 서버 룸에서 전기 비용을 지불하지는 않지만 (적어도 직접적이지는 않지만) 이러한 이점을 가지고 있어도 아마존은 여전히 ​​매우 비싸 보입니다.


2
내가 말할 수있는 한 가지는 클러스터 관리 및 유지 관리에 약간의 인건비가 없다는 것입니다. 아카데믹 환경에서 누군가는 클러스터 관리자 여야하며 OS 시스템 업데이트 및 업그레이드, 새 소프트웨어 설치, 클러스터 작동 중단시 기술 지원 등과 같은 모든 어려운 작업을 수행해야합니다. 이러한 작업은 고맙지 만 관리자의 기술에 따라 많은 시간이 필요할 수 있습니다. EC2 클러스터는 클러스터 유지 관리에 필요한 인력을 줄입니다.
Geoff Oxberry

1
글쎄, 당신은 분명히 하드웨어를 싸게 가지고 있습니다. 이전 직장에서 192 코어 클러스터의 3 년에 걸친 비용을 계산했으며 연간 코어 당 850 달러가 넘는 것으로 나타났습니다. 전원 시스템 및 냉각과 관련된 모든 문제는 말할 것도없고 ...
Hristo Iliev

@GeoffOxberry 인건비에 대해 좋은 지적을합니다. 실험실에서 나는 관리자이므로 그런 것에 대해서는 생각하지 않습니다. 때로는 실망 스럽지만 사랑의 수고입니다. 현금을 가지고 어딘가에 넣을 경우이 블로그 의 (드문 드문) 지침을 따르고 자신의 Watson을 작성하려고합니다.
전화

나는 그것이 그렇게 싸다고 생각조차하지 않습니다. Dell의 "약간 사용 된"클러스터를 기꺼이 가져 가려면 코어 비용을 ~ 200 달러로 낮출 수 있습니다. 이전 직장의 하드웨어에 대해 더 자세히 말씀해 주시겠습니까?
전화

1
각 노드에 16 GiB ECC RAM이있는 12 개의 트윈 Supermicro 듀얼 소켓 Xeon 섀시 (24 노드, 48 개의 E5420s), Tesla M2090 2 개가있는 단일 소켓 Nehalem 머신 1 개, 24 포트 InfiniBand 스위치가있는 맞춤형 시스템입니다. 4 개의 디스크, 2 개의 10kVA UPS, 2 개의 에어컨이있는 파일 서버. 우리는 3 년의 프로젝트 기간 동안 여러 단계로 획득했습니다. 가장 크지는 않지만 여전히 총 ​​~ 100k EUR (불가리아에서 가장 좋은 학업 가격).
Hristo Iliev

답변:


15

내 생각에 클라우드 기반 리소스를 사용하는 가장 큰 장점은 유연성입니다. 즉, 워크로드가 변동하는 경우 필요한만큼만 지불하면됩니다.

애플리케이션에서 그렇지 않은 경우 (예 : 수량화 가능하고 지속적인 워크로드가 있음을 알고있는 경우) 자체 클러스터를 구축하는 것이 좋습니다. 클라우드에서는 유연성에 대한 비용을 지불하고, 유연성이 필요하지 않은 경우 필요하지 않은 비용을 지불합니다.

워크로드가 유연하지만 다소 강렬하고 특정 하드웨어 기능에 의존하는 경우 (aeismail의 답변 참조) 대학의 다른 사람들과 클러스터를 공유하여 유휴주기를 상쇄 할 수 있습니다. 저의 오래된 대학은 "주주 모델"과 같은 공유 클러스터를 운영하는데,이 그룹은 모든 그룹이 하드웨어에 대한 투자에 비례하는 컴퓨팅 성능의 공유 및 유휴주기를 누구나 사용할 수 있도록 보장합니다. 유일한 어려움은 클러스터 관리를 중앙 집중화하는 것입니다.


3
핵심은 '정량화 가능하고 일정한'핵심입니다. 일반적으로 워크로드는 상당히 다양하며, 사용량이 적을 경우 코어 당 300 달러를 훨씬 초과하는 비용이 발생할 수 있습니다. 또한 클라우드 컴퓨팅을 설정할 때 일시적으로 필요한 경우 (컨퍼런스 1 주 전) 더 많은 인스턴스로 쉽게 확장 할 수 있습니다.
Phil H

1
이것을 위해 +1. 클러스터 사용은 0에서 "You did what !?"의 기간으로 바뀌 었습니다. 나는 필요할 때마다 두 번째를 지불 할 여유가 없습니다.
Fomite

7

MD 시뮬레이션으로 클라우드 컴퓨팅을 수행 할 때 고려해야 할 사항이 있습니다. 예를 들어 서버 팜에서 이러한 작업이 실행될 프로세서의 물리적 레이아웃에 대해 걱정해야합니다. 그 이유는 시뮬레이션의 크기와 실행중인 계산 종류 (예 : 정전기가있는 시스템)에 따라 FFT에 크게 의존하고 거대한 클러스터의 다른 프로세서로 전자를 밀어 넣을 수 있기 때문입니다. 총 계산 시간의 시간이 많이 걸리는 부분이 될 수 있습니다.

또한 MD와 같이 데이터를 많이 사용하는 경우 서버에 대한 빠른 업로드 및 다운로드 연결과 데이터 저장에 대한 상당한 제한이 있는지 확인해야합니다. 그렇지 않으면 많은 비용 절감이 생산성 및 스토리지 비용 손실로 인해 줄어들 수 있습니다.

우리 연구소는 코어 당 500 € 미만의 비용으로 로컬 클러스터에 약 240 개의 코어를 구입했습니다. 이 비용에는 4 년간 캠퍼스 내에서 호스팅 및 관리와 서비스가 포함됩니다. 매년 엄청나게 싼 것 같습니다. 아마도 이것이 두 가지 세계에서 가장 좋을 것 같습니다. 로컬 액세스이지만 자체 IT 팀이 없어도 전문적으로 유지 관리됩니다.


5

Amazon EC2와 같은 클라우드 서비스에 대한 직접적인 경험은 없지만 실제 코어 당 비용은 인용 한 것보다 훨씬 큽니다. 초기 구매, 전기, 냉각, 건물 내 공간, 교체 하드웨어 비용입니다. 관리 비용과 함께 : OS 및 클러스터 서비스 설정, OS를 최신 상태로 유지, 대기열 문제 해결 등.이 총액이 초기 구매 비용의 두 배인 경우에는 전혀 놀라지 않을 것입니다. 물론 유연성을 얻을 수 있습니다.

나에게이 모델은 규모가 축소되었습니다. 실제로 대규모 클러스터 (1000 코어 이상)를 사용하는 경우 전문가를 바쁘게 유지하기에 충분하기 때문에 작업 시간, 수리, 시스템 관리를 상각 할 수 있습니다. 헌신적 인 사람이 할 가치가없는 작은 클러스터가 있다면 과학을 수행 해야하는 첫 번째 직업을 가진 누군가가 그것을 할 수 있습니다.이 경우이 사람의 시간은 그러한 행정 업무에 거의 소비되지 않습니다. 클라우드 서버와 같은 주문형 서비스가 빛을 발하는 곳입니다.


실험실에서 클러스터의 전기, 냉방 및 공간은 모두 대학이 시설 비용에 대한 보조금을 인출 한 비용으로 지불됩니다. 이 컷은 클러스터 실행 여부에 관계없이 동일합니다. 대부분의 대학에서 비슷한 상황이 발생하는지 또는 대부분의 실험실이 냉각 비용 등을 주머니에서 직접 지불하고 있는지 알고 있습니까?
전화

1
나는 대부분의 실험실이 당신과 동일한 배열을 가지고 있다고 생각하지만, 어쨌든 이러한 비용을 무시하는 것은 잘못 될 것입니다. 당신이 개인적이 아니더라도 누군가가 그들을 어깨에 두어야 할 것입니다. 실제로 캠퍼스가 아닌 클라우드에서 클러스터를 구축하는 데 동의하는 경우 부서 / 대학에 간접 비용의 더 큰 부분을 돌려달라고 요청하는 것이 좋습니다.
Wolfgang Bangerth

4

이미 훌륭한 답변 중 일부를 보완하기 위해 고려해야 할 또 다른 요소가 있습니다.

  • 비용에 관계없이 어떻게 지불합니까?

어떤 상황에서도 하드웨어 비용을 지불 하지 않지만 EC2와 같은 컴퓨팅 시간을 지불 하는 사소한 수의 보조금이 발생했습니다 . 따라서 일부 자금 지원 상황에서는 구조화되지 않은 자금 또는 랩 스타트 업 패키지로 소규모 "테스트 베드"클러스터에 자금을 지원할 수 있지만 대규모 프로젝트의 경우 컴퓨팅 비용에 자금을 지원하는 유일한 방법 일 수 있습니다.

NIH를 고려하십시오.

ADP / 컴퓨터 서비스 : 여기에 포함 된 서비스는 슈퍼 컴퓨터에서 컴퓨팅 시간을 예약하거나 통계를 실행하는 데 도움이되는 특수 소프트웨어를 얻는 것과 같은 리서치 특정 컴퓨터 서비스 여야합니다. 이 섹션에는 표준 데스크탑 사무용 컴퓨터, 랩톱 또는 기관에서 제공하는 표준 기술 지원이 포함되어서는 안됩니다. 이러한 유형의 요금은 식음료 비용에서 발생합니다.

클러스터 머신을 $ 5,000 이상의 장비 제목 아래로 내려 놓을 수는 있지만 좋은 주장을 할 수는 있지만 그에 대해 소름 끼치는 검토 자와 그러한 유지 관리의 지속적인 비용에 대해 주저하는 대학을 모두 발견했습니다. 체계.

일부 보조금은 더욱 엄격합니다. 내가 현재 가지고있는 보조금 하나는 다음과 같습니다.

자금은 컴퓨터 하드웨어에 사용될 수 없습니다

EC2 기반 또는 많은 아날로그 중 하나가 실제로 하드웨어를 구입하는 것보다, 특히 기관이 간접 비용을 부담하는 경우 직접 비용으로 클러스터를 지불하는 것이 더 쉬운 경우가 많습니다. 이것은 당신에게 해당되지 않을 수도 있지만, 일부에게는 해당 될 수도 있습니다.


나는 그것이 좋은 주장이 아니라고 생각합니다. 저는 미국의 자금 조달 시스템에 대해서만 잘 알고 있지만 "장비"범주에 일정 금액을 투자하면이를 사용하여 클러스터를 구입할 수 있습니다. 물론, 해당 범주가 비어 있으면 잘못된 달러 세트를 요청한 것입니다. 장비가 구매 가격이 $ 5k 이상인 단일 장비 인 경우 장비 (적어도 우리 대학에서)에 대한 오버 헤드를 전혀 지불하지 않습니다.
Wolfgang Bangerth

@WolfgangBangerth 자세한 내용은 내 편집을 참조하십시오. "장비"범주에 놓으면 허용되지 않을 수 있습니다.
Fomite

예, 이러한 조건에 해당하는 경우 수행 할 수있는 작업이 없습니다. 그러나 만약 당신이 당신이 보조금으로 장비 돈을 요구하는 좋은 사례가 있다면, 평론가들은 보통 그것과 함께 간다. 물론, 돈이 예산으로 시작되지 않았다면 사실 후에 할 수있는 일은 없습니다.
Wolfgang Bangerth

0

이미 많은 신의 답변이 있습니다. 두 개의 작은 점을 추가하고 싶습니다.

1.) IBM이 비슷한 것을 제공한다는 것을 알고 있습니다. 따라서 애플리케이션에 따라 다른 오퍼를 비교할 가치가 있습니다. 비용뿐만 아니라 장비와 관련하여.

2.) 물론 대부분의 랩은 너무 작아서 자체 클러스터에 투자 할 수 없습니다. 따라서 문제는 여러 랩을 함께 모으고 다른 랩간에 공유되는 클러스터에 투자 할 수 없는지 여부입니다. 이는 명백한 비용 분담 효과 외에보다 균일 한로드 분배의 이점도 있습니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.