수집 속도가 큰 서비스는 충분한 하드 디스크를 얼마나 빨리 설치합니까?

Amazon, Facebook 및 Google은 하루에 PB가 아닌 경우 TB를 사용해야하므로 일반 서버를 구축하거나 다른 기술을 사용하는 것과 같은 방식으로 새로운 랙에 새 하드 디스크 및 케이블을 지속적으로 설치하는 사람들이 있습니다. 대량으로 드라이브를 연결하기 위해?

실제로 한 번에 한 대의 서버에 하드웨어를 설치하고 있는지 모르겠습니다. 돌아 가기 2008 MS 밀봉 그들은 단지에 트럭 및 플러그 전원 / 네트워크 연결에서 언로드에 필요하다는 서버의 컨테이너를 운송 사전에 유선으로 전달 서버를 얻어서 데이터 센터를 구축하기 시작했다. 08 빌드는 컨테이너가 혼합되어 있고 최신 데이터 센터에 전통적이었습니다. 이후 내후성이 있고 별도의 건물에 보관할 필요가없는 맞춤형 조립식 설계로 이동했습니다.

HP와 IBM은 모두 구축하기 위해 전원 / 데이터 연결 만 있으면되는 서버로 가득 찬 사전 구축 컨테이너가 포함 된 유사한 패키지를 판매합니다.

Google은 대량의 데이터를 저장하기 위해 내부적으로 개발 한 여러 기술을 보유하고 있습니다. 이러한 기술을 사용하면 실제로 가동 중지 시간없이 트럭로드의 하드 디스크를 클러스터에 추가 할 수 있지만 여전히 그렇게하는 사람들이 필요합니다.

내가 구글 블로그에서 아는 한, 두 가지 주요 부분은 구글 파일 시스템 (Google File System)인데, 이것은 실제로 큰 규모로 확장 될 수있는 분산 파일 시스템입니다 : 구글 파일 시스템

또한 Google 파일 시스템 위에는 일종의 Key Value 데이터베이스 인 Big Table이 있으며 대규모로 확장됩니다. Big Table

고 가용성을 보장하기 위해 대부분의 경우 모든 것이 3 배 이상 중복됩니다.

정확히 맞습니다. 한 번에 Facebook 데이터 센터는 평균 하루에 하드 드라이브와 랙 마운트 서버로 가득 찬 3 대의 트랙터 트레일러를 추가했음을 기억합니다. 물론 스토리지를 확장 가능하고 이중화 할 수있는 복잡한 체계가 있습니다. 예를 들어 Google에는 GFS가 있습니다. Facebook에는 각각 2 개의 월마트보다 큰 3 개의 데이터 센터와 기존 센터보다 4 배 더 큰 새로운 데이터 센터가 있습니다.

4 개의 랙 장치에 180TB의 디스크를 장착 할 수있는 차세대 Open Compute 스토리지 솔루션을 사용하면 PB는 실제로 큰 공간이 아닙니다. 하루에 1PB를 추가하면 하루에 5 대의 서버를 랙킹하는 것이 큰 문제가 아닙니다. 더 좋은 방법은 약 $ 10K에 구입할 수 있다는 것입니다. 이는 TB 당 $ 60 미만을 지불한다는 의미입니다.

그렇습니다.이 기술은 우리 모두에게 은행을 해치지 않는 가격으로 똑같이 할 수 있습니다.

그러나 대기업은 항상 더 나은 거래를하고 대규모 계약을 체결하여 방대한 양의 스토리지를 확보해야합니다. 연중 소량의 배송 물이 퍼질 수 있지만 한 번에 1PB 만 주문하는 것과는 다릅니다.

여기에 BackBlaze의 흥미로운 블로그 게시물이 있습니다 (Google 또는 Facebook만큼 디스크가 필요하지는 않지만 여전히 전체가 필요합니다). 비싸고 더 힘들다 :

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/