10 테라 바이트의 데이터를 저장하는 가장 안전하고 저렴한 방법은 무엇입니까?

저는 프로덕션 회사의 멤버이며 첫 장편 영화를 준비 중입니다. 우리는 모든 원본 콘텐츠를 최대한 안전하게 유지하기 위해 데이터 저장 방법을 논의했습니다. 우리는 데이터가 100 % 안전하지 않다는 것을 알고 있지만 가장 안전한 솔루션을 찾고 싶습니다.

우리는 다음을 고려했습니다 :

• 온 사이트 스토리지를위한 16TB NAS

• 4-5 2TB 하드 드라이브 (저렴하지는 않지만 중복되지는 않음), 원본 푸티지를 드라이브에 복사 한 다음 정전기 방지 백으로 밀봉

• Blu-Ray 디스크에 데이터 굽기 (시간이 많이 걸리고 비용이 많이 든다 : 200 디스크 == $ 5000)

• 테이프 드라이브?

나는 테이프 드라이브가 디스크보다 더 안정적이라는 사실을 제외하고 테이프 드라이브에 대해 가장 잘 알고 있습니다. 이 양의 데이터에 대한 경험 / 지식은 대단히 감사합니다.

이는 정기적 인 백업 또는 라이브 데이터가 아닌 아카이브를 사용한다고 가정합니다.

SATA 하드 드라이브 세트 (1 또는 2TB)와 몇 가지 추가 장치가 필요합니다. 데이터를 디스크에 복사하십시오. 추가 패리티 파일을 작성 하려면 QuickPar (또는 패리티 볼륨을 지원하는 아카이버)를 사용하십시오. 하드 디스크간에 패리티 파일을 분배하십시오.

패리티 정보를 사용하면 충분한 패리티 파일이 남아있는 경우 파일을 재구성 할 수 있습니다. 따라서 한 디스크는 죽지 만 패리티 정보가있는 다른 디스크는 여전히 작동하는 경우 패리티 파일을 사용하여 원본을 재구성 할 수 있습니다.

중복성을 높이려면 모두 두 번 수행하고 별도의 위치에 저장하십시오.

정말 편집증이라면 PCI 및 PCI Express를 각 사이트의 SATA 컨트롤러에 저장하십시오!

편집 : 편집증이 중요하다면 도대체 모든 디스크를 읽을 수있는 각 사이트에 기가비트 이더넷이있는 PC를 저장하십시오!

우리가 사용하는 LTO4 드라이브는 테이프 당 800GB로 클램핑 할 수 있습니다. 단점은 드라이브 자체의 비용입니다. Blu-Ray 디스크에 대해 $ 5K를 벌었다면 LTO4의 비용은 마음에 들지 않을 것입니다. 반면, 카티지 자체는 GB 단위로 매우 저렴하므로 많은 사본을 보관할 수 있습니다. 이 테이프는 유효 기간이 길지만 테이프 드라이브를 교체 할 때 새 매체로 옮길 계획이 필요합니다. 이 스토리지를 사용하는 방법을 설명하는 방법에서 테이프가 적합하다고 생각하지 않습니다. 이것이 아카이브 솔루션 대신 백업 솔루션 이되지 않는 한 아닙니다 . 다른 문제들.

일일 순 변경이 충분히 작은 경우이를 위해 일종의 클라우드 기반 백업 공급 업체를 고려할 수 있습니다. 물론 이것은 인터넷 연결이 얼마나 강력한 지에 달려 있으며 복원하는 것도 똑같이 고통 스럽습니다. 이러한 서비스는 매우 새롭기 때문에 데이터의 파산 문제를 처리하는 방법을 알 수 없습니다. 그들이 사업을 외면 어떻게 되나요?

로컬 디스크 스토리지는 확실히 갈 길입니다. 드라이브를 쉽게 교체 할 수있는 드라이브 인클로저는 아마도 비용 제약을 고려하는 것이 가장 좋습니다. 해당 데이터를 오프라인으로 살 수 있다면 가십시오. 디스크는 저렴하고 디스크 인클로저는 테이프 드라이브보다 저렴합니다. 움직이는 부품이 적습니다.

비디오 역할에서 적극적으로 사용하지 않고 보관을 위해 이것을 필요로한다고 가정합니다. 그렇다면 다른 스토리지 문제입니다.

NAS 연구에서 DroboPro 또는 DroboElite 자체 관리 저장 장치 를 살펴 보셨습니까 ?

영상 / 예산의 일부 / 전체를 잃어버린 경우 비용이 얼마인지 고려하십시오.)

호스팅 서비스를 고려 했습니까? 가격이 어떻게 측정되는지 잘 모르겠지만 대량 스토리지를 판매하는 호스팅 서비스를 고려할 수도 있습니다. 아마 AWS ?

8 ~ 10 개의 2TB 하드 드라이브; 두 세트를 만드십시오. 이미 언급했듯이 별도로 저장하십시오 ...

디스크보다 저장된 조건에 훨씬 더 민감하므로 테이프에서 멀리 떨어져 있습니다. 또한 5 년이 지난 지금도 SATA 드라이브를 무언가에 꽂을 수는 있지만 테이프를 읽을 수있는 테이프 드라이브에 액세스하지 못할 수도 있습니다.

광학은 장기 안정성 측면에서 최고이지만 비용과 물류는 다소 비현실적입니다.

자주 작업하는 라이브 파일에 일종의 NAS / RAID를 사용하는 것이 좋습니다. 대용량 드라이브를 사용하려는 경우 RAID-5 + 핫 스페어와 ​​같이 RAID가 저하되기 전에 두 개의 디스크에서 장애가 발생하지만 핫 스페어 구성과 달리 RAID-6 또는 이와 유사한 장치를 사용하는 것이 좋습니다. 두 번째 추가 드라이브에도 패리티가 있으므로 RAID는 레이드가 장애시 스페어에 대한 패리티를 재구성 할 필요가 없습니다. 드라이브가 커질수록 재 구축 중에 드라이브에 장애가 발생할 가능성이 높아 지므로 가능한 한 많은 라이브 패리티를 갖는 것이 좋습니다.

이 외에도 테이프 드라이브와 같은 하드 디스크를 사용하는 것이 좋습니다. 요즘 에는 보관 용 드라이브를 정리할 수있는 하드 드라이브 케이스 (또는 이것들 ) 도 구입할 수 있습니다. 파일을 RAID로 덤프 한 다음 드라이브에 추가 보관 사본을 만들어 보관할 수 있습니다.

Pixel Corps 와 같은 일부 비디오 제작 회사는 유사한 설정을 사용합니다.

또한 파일을 같은 지붕 아래가 아닌 두 개 이상의 위치에 저장하는 것이 좋습니다. 또한, "적어도 두 곳에서 쓰지 않았다면 아직 저장하지 않았다"라는 진언을 따르십시오. 또한 RAID 자체는 백업으로 계산 되지 않습니다 .

필자는 이것이 오프라인 백업 유형 스토리지를위한 것이라고 가정합니다. 쉽게 생성 및 복원 할 수 있지만 일상적인 작업에는 많이 사용되지 않습니다.

요즘에는 2TB 드라이브를 약 140 달러에 구입할 수 있습니다. 따라서 10TB, 5 개의 드라이브, $ 700에 해당합니다. 데비안이나 우분투 또는 다른 리눅스 맛을 실행하는 주변에 준 저전력 서버를 구축하기 위해 약 400 달러를 계산하십시오. 여러 개의 NIC가있는 시스템을 확보 한 경우 본딩 할 수 있습니다네트워크 인터페이스를 함께 (잠재적으로 트렁킹을 지원하는 관리되는 스위치가 필요하다고 생각합니다) 서버의 가용 대역폭을 늘리고 NIC 오류로부터 보호합니다. 그런 다음 samba, NFS 또는 다른 방법을 통해 스토리지를 사용해야하는 워크 스테이션에 스토리지를 노출시킬 수 있습니다. 이 큰 데이터 볼륨의 경우 이러한 드라이브 중 하나가 물리면 데이터가 없을 수 있도록 일종의 중복성을 원할 것입니다. 여러 가지 이유로 RAID5는 좋은 생각이 아니지만 RAID10이 그 목적에 맞습니다. 서버가 Linux를 실행 중이므로 mdadm 을 사용하여 RAID 배열을 관리 할 수 있습니다 . 이를 위해서는 실제 장치 수를 두 배로 늘려야하므로 최대 10 개의 드라이브가됩니다. 이 스토리지 서버의 총 비용 :

데이터 를 정말로 좋아한다면 (이것이 정말로 중요한 프로덕션 데이터 인 경우,해야합니다!), 중복 서버를 구축하고 백업을 백업 할 수 있습니다. 당신은 끔찍하게 느린 수 있습니다 rsync에의 crontab을 사용하여이 작업을 수행 할 수 netcat을 / 타르 파이프 빠를 것이다 솔루션은, 반드시, 또는의 기본으로 RAID 장치를 설정하는 DRBD의 장치입니다. 스토리지가 두 머신에 자동으로 복제되므로 중복 데이터 백업이 보장됩니다. 데이터 볼륨의 가용성을 보장 하기 위해 훨씬 더 좋아지고 하트 비트 장애 조치 시스템을 설정할 수 있습니다 .

버팔로 TeraStation III 8TB 네트워크 연결 스토리지-£ 1,085.56

amazon.co.uk 링크

나는 4tb로 업그레이드 한 테라 스테 레이션 1tb 버전을 얻었고, 그것은 나를 위해 RAID5에서 완벽하게 작동합니다. 더 작은 버전을 구입하고 직접 업그레이드하여 비용을 절약하거나 여러 영토를 구입할 수 있습니다.

테이프 드라이브 나 테이프에 데이터를 저장하는 의미에 대해 잘 모르므로 도움을 드릴 수 없습니다. 대량 백업으로 bluray를 사용하는 데 드는 막대한 비용을 감안할 때 NAS 또는 개별 드라이브를 사용합니다.

NAS / Raid에서주의해야 할 사항은 단일 가상 드라이브에 상당한 양의 정보를 저장할 수 있지만 모든 드라이브를 함께 유지해야하며 RAID는 일반적으로 장기적이지 않다는 것입니다. 백업 "솔루션. 둘 이상의 드라이브가 손실되고 NAS 장치 자체가 손실 될 가능성이 있습니다 (및 "동일한"장치 인 경우에도 교체 장치가 드라이브에서 데이터를 읽을 수 있다는 보장은 거의 없습니다).

요즘 하드 드라이브가 얼마나 저렴하고 전반적인 안정성을 고려할 때 개별 드라이브를 선택합니다. 적은 비용 (아마 $ 1200-$ 1500)으로 10 개의 2Tb 드라이브를 쉽게 잡고 두 세트의 백업을 생성 할 수 있습니다. RAID 또는 NAS 장치와 관련된 위험없이 데이터의 오프라인 백업과 중복 백업을 모두 얻을 수 있습니다. SATA는 언제 어디서나 갈 수 없기 때문에 개별 드라이브는 더 넓은 범위의 호환성을 제공합니다.

당신이 그것을 잃지 않기를 정말로 원한다면, 적어도 두 개의 아카이브 옵션을 원합니다. 테이프 및 하드 드라이브 일 수 있습니다. 어떤 형태의 리던던시없이 하나의 복사본 만 만드는 것은 데이터 주사위를 굴리는 또 다른 방법 일뿐입니다.

스토리지 요구에 따라 개별 워크 스테이션을 백업하려는 경우, 착탈식 SATA 드라이브에 대한 Thermaltake BlacX 외부 스토리지 도크를 확인하십시오. 외부 USB 및 SATA 연결을 모두 지원합니다. 드라이브를 독에 꽂고 데이터를 복사하면 백업이됩니다.

나는 집에 부두가 있고 일한다. 각 위치에서 백업을 수행하고 오프 사이트 저장을 위해 다른 위치로 백업합니다. 또한 위치간에 진행중인 작업을 이동하기위한 스크래치 드라이브가 있습니다.

도크는 각각 약 $ 60.00이며 $ 100 미만으로 1.5TB 드라이브를 구입할 수 있습니다.

조쉬, 당신은 이것이 작동하는 데이터인지 아카이브 데이터인지 명확하지 않았습니다. 데이터가 가치가있는 경우 백업과 아카이브 사이에는 실제 차이가 없으며 작업 시스템이나 아카이브 시스템에 저장하는 위치에만 있습니다. 데이터가 중요한 경우 데이터를 보호하고 백업 규칙을 준수하려는 경우 작업 시스템과 아카이브 시스템이 동일합니다.

보관은 미디어에 저장된 것보다 미디어 유형에 더 많이 적용됩니다. 아카이브는 데이터가 절대로 변경되지 않음을 의미합니다. 예를 들어 WORM (Wortten Once, Read Many)은 WORM이라고합니다. WORM 드라이브는 일반적으로 테이프이지만 RDX Quikstor 및 RDX Quikstation (8 베이 RDX 스테이션)과 같은 항목에는 특정 드라이브에 대한 WORM 옵션이있어 덮어 쓸 수 없습니다. RDX Quikstation이 보관에 적합 할 것으로 생각됩니다.

보관 시스템은 백업 계획의 일부입니다. 데이터 사본이 하나만 있으면 안됩니다.

일부 백업 규칙은 다음과 같습니다.

3-2-1 규칙.

데이터 사본 3 개. 두 개의 서로 다른 미디어에 대한 하나의 소스 백업과 두 개의 백업. 그 중 하나는 오프 사이트로 유지됩니다.

예 : 온 사이트 서버는 온 사이트 NAS에 백업되고 오프 사이트는 테이프 또는 RDX에 백업되었습니다. 온 사이트 서버가 온 사이트 NAS에 백업되고 오프 사이트 NAS가 백업되었습니다. 온 사이트 서버가 온 사이트 NAS에 백업되었고 실시간으로 오프 사이트 NAS에 복제되었습니다. 온 사이트 백업은 디스크 여야합니다.

미디어:

오프 사이트 백업은 시간에 따라 다릅니다. 오프 사이트를 휴대용 미디어에 백업하면 시간 지연이 자동으로 발생합니다. 즉 월요일 밤의 백업은 화요일 밤 오프 사이트에서 수행됩니다. 화요일 휴무 전에 재난이 발생하면 2 일 동안 가치를 잃게됩니다. 잃을 수있는 금액은 전적으로 비즈니스와 데이터 변경 빈도에 따라 다릅니다.

미디어 스토리지 :

미디어 저장 규칙을 완전히 준수하십시오. 일부 테이프는 좁은 온도와 습도 범위 사이에서 자기장 소스와 멀리 떨어진 곳에 수직으로 보관해야합니다. 테이프를 떨어 뜨리면 신뢰성이 떨어집니다. 그녀의 핸드백에 사무실 소녀와 함께 테이프를 집으로 보내는 것은 그녀의 휴대 전화가 일어나기를 기다리는 재앙입니다. 또한 테이프는 드라이브에 삽입하기 전에 백업 환경에서 최대 2 시간이 필요하며 테이프와 테이프 드라이브 사이의 온도와 습도를 동일하게합니다. 또한 필요한 시간 / 쓰기 간격으로 테이프를 버리고 교체해야합니다.

개인적으로 이런 이유로 테이프를 좋아하지 않습니다. 비용은 적지 않으며 다른 사람이 관리하는 비용도 아닙니다. 테이프에 투자하지만 규칙을 따르지 않는 것은 의미가 없습니다. 저렴하지만 신뢰성은 떨어질 수 있습니다.

단일 장애 지점 제거 :

백업 데이터를 여러 미디어에 분산시키지 마십시오. 예를 들어 한 테이프의 전체 백업과 다른 6 개의 테이프의 차이로 인해 데이터 손실 위험이 7 배 증가했습니다. 백업이 있으면 데이터를 복원하는 데 필요한 모든 파일을 포함하고 싶습니다. 7 개의 전체 백업을하는 것이 좋습니다.

어떤 방식으로, 레이드는 여러 미디어로 계산됩니다. RAID를 사용하는 곳마다 핫 스왑 자동 장애 조치가 있는지 확인하십시오. 드라이브 베이에 하나 이상의 스페어 드라이브가 전용 핫 스왑 스페어로 있어야하며 시스템은 핫 스왑 스페어와 ​​함께 자동으로 죽은 드라이브를 스왑합니다. 테라 바이트 단위의 데이터가있는 경우 RAID에 둘 이상의 핫 스왑 스페어를 고려하십시오.

오프 사이트 거리를 관찰하십시오 :

오프 사이트 거리가 중요합니다. 경우에 따라 데이터 손실을 막기 만하면 오프 사이트 백업을하는 데 별다른 문제가 없습니다. 지진, 홍수, 토네이도, 허리케인 등을 겪은 사람이라면 누구나 알려줄 것입니다. 최근이 도시에서 발생한 지진은 오프 사이트 백업 (서버 옆에있는 테이프)이나 읽을 수없는 백업없이 많은 대기업들이 under을 saw습니다. 일반적으로 60 마일 / 90km는 좋은 거리입니다.

예산을 모르므로 조언을하기가 어렵습니다. 예산은 백업 및 스토리지 선택에 영향을 미칩니다. 저는 IT 지원을 제공하는 영화 제작자를 위해 일해 왔으므로 귀하의 산업에서 움직이는 부분에 대해 어느 정도 이해하고 있습니다. 답변되지 않은 질문이 많이 있습니다 :

어떤 서버가 있습니까? 직원이 몇 명입니까? 이것은 당신의 유일한 장편 영화입니까? 가장 큰 파일 또는 파일 세트의 크기는 얼마입니까? 이 영화와 다음 영화 사이의 시간은 몇시입니까? 예를 들어, 풀 타임 생산 인 경우 파이버를 통한 원격 백업과 같은 월별 비용을 충당 할 수있는 현금 흐름이 있습니다. 영화는 어떤 종류의 현금 흐름을 생성합니까? 앞으로 어떤 요구 사항이 있습니까? 이러한 질문과 다른 질문은 요구 사항, 방법론 및 예산을 설정합니다.

예를 들어, 매년 3 명의 장편 영화를 제작하고 매월 12 명의 직원을 고용하는 광고를한다면 다음과 같은 이점을 얻을 수 있습니다. 100mbit 비경쟁 (ISP에 의해 제한되지 않음) 링크가있는 전용 광섬유 링크 (비싸지 않음)는 60m / 90k 떨어진 데이터 센터로 복제되었습니다. 중요한 아카이브 데이터는 테이프 또는 RDX에 기록되고 데이터 센터 또는 테이프 저장소에 저장되어야합니다. 예산은 여유 및 백업 정도에 대한 유일한 결정 요소입니다.

또는 예산이 적고 수입이 판매에서 발생하고 미래를 알 수없는 경우 집에 저장된 TAPE, RDX 또는 USB 드라이브 (권장되지 않음)를 고려할 수 있습니다.

데이터 손실에 대비 한 현재 및 미래의 요구 사항, 현금 흐름 및 예산은 결정적인 요소입니다. 노련한 백업 전문가 및 / 또는 비즈니스 분석가를 고용하여 스토리지 및 백업 프로세스를 진행하는 것이 좋습니다.