리눅스 클러스터에서 전원 절약


1

작업을 위해 클러스터 (30-60 노드)를 사고 Linux를 설치하고 싶습니다. 예를 들어 클러스터에는 PBS와 같은 큐 시스템이 있어야합니다. 또한 병렬 계산을 수행 할 수 있어야합니다. 나 자신도 클러스터를 구성하고 유지 관리하는 것에 대해 너무 많이 알지 못하지만 IT 직원은 그 정도를 알지 못하며 이러한 시스템을 담당하는 사람을 선호합니다.

내 질문은 : 작업이 실행되지 않는 동안 노드를 끄거나 대기 모드로 전환하여 이러한 시스템의 전원을 절약하는 간단한 (소프트웨어) 방법이 있습니까? 큐 관리자에 연결될 수 있습니까?

더 명확하지 않은 것은 유감이지만, 프로세서가 두 개 이상인 시스템 관리자는 처음입니다.


1
경험이 많은 사람을 고용해야 할 수도 있습니다. 백업 할 직원이 없어서 많은 자금을 조달 할 수 있습니다. 클러스터는 까다로울 수 있으며 IT 팀이이를 지원할 수없는 경우 가장 좋은 방법은 아닙니다. BTW "...하지만 우리 IT 직원은 그다지 알지 못하며이 기계를 담당하는 사람을 선호합니다 ..."는 매우 무서운 선입니다. 고려해야 할 사항이 많이 있습니다. 고려할 필요가있는 전력, 냉각, 재난, 네트워킹 등과 같은 30 노드 클러스터는 "취미"또는 "학습"설정에 비해 약간 큽니다.
coteyr

IT 부서에서 채용 / 소성을 할 수는 없지만 그럴 수 있기를 바랍니다. 그리고 미래의 프로젝트를 위해서는 실제로 그 크기의 클러스터가 필요합니다. 내 작업에는 이미 클러스터가 있지만 IT 직원이 아닌 동료 중 한 명이 유지 관리하고 구성했습니다. 그는 이제 더 이상 시간이 없습니다. 문제는 그것을 구매하는 것이 아니라, 관리에게 증명하기 위해 유지하고 운영하기에는 너무 비싸지 않다는 것입니다. 나는 무언가를 발견했다 : CLUES
Magicsowon

답변:


1

까다로운 질문이며 일부 및 코드 개발이 필요할 것입니다. 귀하의 부분과 클러스터를 구축하는 사람들의 부분에 대한 생각은 다음과 같습니다.

  • 노드를 언제 종료해야합니까?
  • 언제 제기해야합니까?
  • 노드가 나타나면 다른 노드와 동기화되어 있는지 확인하십시오 (소프트웨어 업데이트가 필요합니까?).

전문가에게 약간의 전기를 절약하는 좋은 방법을 가져 오는 것 외에도 Linux에서 사용할 수있는 일부 절전 유틸리티를 살펴보고 사용하는 것이 좋습니다. PowerTOP은 어디에서 저장할 수 있는지 알아보기위한 좋은 시작입니다. 보다 구체적으로 hdparm과 같은 것들이 디스크를 회전시킬 수 있습니다. 마지막으로 cpufreq를 살펴보고 CPU 속도를 설정하고 속도를 조절하여 속도가 떨어지면 전기가 절약됩니다. 모든 CPU가이를 지원하는 것은 아니므로 그렇게 많이 확장하지 못할 수도 있습니다.

클러스터의 사용량이 많기 때문에 일반적으로 클러스터를 24x7로 유지했습니다. 실제로 100 % 사용하지 않을까 걱정이되는 경우 StarCluster 와 같은 온 디맨드 클라우드 클러스터를보고 원하는 크기의 기성품 클러스터를 오랫동안 원할 수 있습니다. 당신이 원합니다.


일정 기간 (10-30 분) 동안 대기열에 아무것도 대기하지 않으면 노드를 종료해야한다고 생각합니다. 누군가 대기열에 작업을 제출하자마자 켜야합니다. 노드 동기화와 관련하여 복잡 할 수 있으며 가능한 모든 문제를 생각할 수는 없습니다. 모든 클러스터를 켜고 필요할 때 수동으로 업데이트합니다.
Magicsowon

일정 기간이 지나면 종료하는 것이 쉽습니다. PBS 노드를 감시하고 해당 노드에서 마지막 작업이 완료된 시점을 추적하는 맵을 작성하십시오. 30 분 후 ssh over하고 'shutdown -h now'를 실행하십시오. 전원을 다시 켜는 것이 조금 더 어려울 것입니다. 원격 시스템 전원 자체를 백업하려면 일종의 대역 외 관리 (예 : IPMI)를 사용해야합니다. 사용중인 프로세서 수와 사용 가능한 프로세서 수에 비해 전원이 꺼진 항목의 맵을 유지하는 것입니다. 필요한 수가 사용 가능한 것보다 많으면 노드 전원을 켜십시오.
mkomarinski
당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.