아카이브 솔루션에 대한 일반 조언. ~ 15tb와 성장.


9

소규모 비즈니스 파일을위한 더 나은 스토리지 및 아카이브 시스템이 필요합니다. 특히 파일은 비디오 프로젝트로 완성됩니다. 시간과 비용의 한계를 넘어서게 된 이유는 내가 생각한 해결책을 믿지 않는다는 것입니다. 그러므로 나는 문제와 생각을 내놓고있다. 의견을 보내 주시면 감사하겠습니다.

예산 : 나는 그것이 소비하는 것을 믿습니다. 우리는 중소 기업입니다. 나는 <5k 이상 약 1-3k에 대해 이것을 벗어날 수 있기를 바랍니다. 그것은 파이프 꿈일지도 모른다. 말해줘

문제 :

  • 원시 비디오 파일은 파일 크기가 매우 큽니다. 우리는 지금까지 10 + tb 이상을 축적했으며 빠르게 성장하고 있습니다.
  • 비디오 편집에는 파일에 대한 빠른 읽기 / 쓰기 액세스가 필요하므로 중앙 또는 클라우드 기반 파일 서버는 충분히 빠르지 않습니다. 따라서 우리는 아마도 오래된 프로젝트에 대한 달성 솔루션이 필요하며 현재 프로젝트는 로컬로 유지되어야합니다.
  • 우리는 일종의 중복성 및 오프 사이트 솔루션을 원합니다.

우리가 현재하는 일 :

  • 우리는 대형 고품질 외장 하드 드라이브를 사용합니다.
  • 우리는 항상 쌍으로 구매하고 수동으로 콘텐츠를 복제합니다. 다시 말해, 우리는 하나를 처리하고 파일을 백업 / 대체 역할을하는 다른 파일로 복제합니다.
  • 이 HD는 firewire800 또는 USB3를 사용하여 직접 작동하기에 충분히 빠릅니다.
  • 일단 채워지면 쌍을 한쪽으로 치 웁니다.

현재 솔루션의 문제점 :

  • 데이터가 두 개의 드라이브에 복제되어 있지만이 드라이브는 "백업"되거나 오프 사이트에 저장되지 않습니다.
  • 이러한 많은 외부 HD를 통한 조직은 어렵습니다. 어떤 프로젝트에 어떤 프로젝트가 있습니까? 기타
  • 결국 우리는 어리석은 양의 하드 드라이브를 갖게 될 것입니다.
  • 복제는 RAID가 아닙니다.

옵션 :

로컬 서버

  • 랙 마운트 서버와 Norco (SAS) (20 베이)와 같은 랙 마운트 하드 드라이브 어레이 인클로저를 구입하십시오.
  • 모든 비디오 파일은이 서버에 저장됩니다. 이 한 대의 컴퓨터 / 서버를 백업하기 위해 클라우드 서비스를 설치하고 지불 할 수 있습니다. CrashPlan은 Linux에서 작동하며 데이터 양에 제한이 없습니다. har ddrive는 서버에 연결된 물리적 드라이브이므로 CrashPlan과 같은 회사에서 "NAS 없음"규칙을 준수합니다. 개인용 컴퓨터가 아니므로 24/7/365 동기화를 실행할 수 있습니다. 이것은 오프 사이트 문제를 해결할 것입니다.
  • CrashPlan과 같은 온라인 백업 서비스를 사용하는 대신 이러한 파일을 Amazon Glacier 계정에 동기화하는 스크립트를 작성할 수 있습니다.
  • 비디오 프로젝트가 현재 프로젝트의 외장 하드 드라이브에서 작동하지만 완료되면이 새 컴퓨터에 프로젝트를 배치해야하는 정책입니다. 즉, 현재 프로젝트에 외장 하드 드라이브를 계속 사용하고이 서버에 아카이브 된 프로젝트를 저장하십시오.

클라우드 기반 백업 서비스 (CrashPlan.com, BackBlaze.com, Carbonite.com)

  • 일반적으로 컴퓨터에 물리적으로 연결된 외부 하드 드라이브 만 백업 할 수 있습니다. (NAS 또는 네트워크 드라이브 없음).
  • 일반적으로 백업 된 외부 드라이브가 컴퓨터에 연결되어 있고 모든 데이터가 드라이브에 남아있을 것으로 예상합니다. 몇 달 동안 외장 하드 드라이브를 연결하지 않으면 백업은 어떻게됩니까? 오래된 프로젝트를 삭제하여 공간을 정리하면 온라인 서비스에서도 삭제됩니다.
  • 모든 데이터가 클라우드에있을 때까지 사용자는 컴퓨터에 외부 하드 드라이브를 연결 한 상태로 두어야합니다. 큰 프로젝트에는 몇 주가 걸릴 수 있습니다.
  • 인터넷 전송 속도로 인해 프로젝트 복원이 매우 느립니다.
  • 이러한 클라우드 백업 계정은 일반적으로 한 명의 사용자 / 한 대의 컴퓨터에만 해당됩니다. 따라서 한 명의 사용자가 하드 드라이브를 백업 한 경우. 그런 다음 두 번째 사용자가 프로젝트에서 작업하면 무엇을 의미합니까?

큰 NAS

  • NAS는 "네트워크 영역 스토리지"입니다. 보유하고있는 하드 드라이브 수만큼 넣습니다. 그들을 습격합니다. 네트워크 연결 또는 USB3 / Firewire를 통해 액세스 할 수 있습니다.
  • 대부분 운영 체제가 구워졌습니다. 따라서 클라우드 기반 백업 서비스와 같은 다른 소프트웨어를 실행할 수 없습니다. 또한 사용자 정의를 수행하거나 자신의 소프트웨어를 실행할 수 없습니다. 당신은 당신이 사는 것을 얻습니다.
  • 큰 NAS는 꽤 비싸고 그렇게 크지는 않습니다. 베이가 4 개 이상인 많은 것을 찾을 수 없습니다. 현재 큰 HD는 3TB입니다. 따라서 4bay는 <12tb의 스토리지 주위에있을 수 있습니다. 미래에 매우 편하지 않습니다.

다른 아이디어는 다음과 같습니다.

  • 테이프 백업.
  • 이전 프로젝트를 Amazon Glacier에 직접 보관하고 로컬 서버 구축을 건너 뛰어 저장하십시오.

조언을 주셔서 감사합니다 !!! 제드


프로젝트가 완료되면 얼마나 자주 되돌아 와서 데이터 작업을해야합니까?
— Michael Hampton

"Big NAS"에 대한 이해는 매우 작습니다. NetApp, EMC, IBM, Isilon, 많은 다른 회사에 이르기까지 다양한 회사가 있습니다.
— mfinni 2019

한 달에 한두 번이 데이터로 돌아 가야합니다. 이 데이터에 액세스하는 데 지연이 발생하면 (Amazon Glacier) 며칠이 아닌 몇 시간 만 이야기한다면 받아 들일 수 있다고 생각합니다.
— maestrojed

그렇다면 빙하를 사용하지 마십시오. 검색 대변은 높을 것이고, 회계사는 청구서를 받으면 뇌졸중을 일으킬 것입니다.
— HopelessN00b 2019

@mfinni EMC와 IBM이 NetApp에 ​​대해 잘 모르는 훌륭한 아이디어와 훌륭한 하드웨어를 보유하고 있다고 확신합니다. 그것이 저의 설명 된 예산에 맞지 않을 수도 있고 소기업에 적합한 것 같지 않습니다. NetApp이 하드웨어를 Norco가 만든 "Hard Drive Array"라고 부르는 것과 비슷하게 만드는 것 같습니다. 나는 내 자신의 서버 아이디어를 빌드 할 때 이것을 언급했다. 그 접근 방식이 제안하고 있습니까?
— maestrojed

답변:


12

줄자. 그렇게 간단합니다. Quantum은 그보다 더 많은 것을 처리 할 수있는 SuperSTore 시스템을 가지고 있으며 5000 개 미만의 가격대에서 새로운 것을 보았습니다. 좋은 점은 스토리지를 위해 테이프를 꺼낼 수 있으므로이를 확장하면 비용이 많이 들고 테이프가 지속됩니다.


시간 순서대로 검색 시간에 만족하기 때문에 TomTom에 전적으로 동의합니다. 테이프는 대단히 저평가되어 있으며 이런 종류의 제품에는 탁월합니다.
— MadHatter

테이프를 사용하는 경우 테이프를 자주 테스트 할 수있는 것이 있는지 확인하십시오. 내 경험상, 테이프 백업의 약 75 %가 작동하지 않습니다. 사람들이 동일한 카세트를 여러 번 사용하고 3 년 후에 데이터를 검색 할 수 없을 때 놀랐 기 때문입니다.
— Matthew

2
적절한 테이크를 적절히 보관 (기침)하면 보관 기간이 보장된다는 점을 감안하면 놀랍습니다 (30 년이라고 생각합니다). 그리고 2 장을 쉽게 만들 수 있습니다. 비늘을 잘 가져 가십시오. 일정 (1 주, 1 개월, 1 년)에 그랬지만 복구를 한 번도 테스트하지 않은 ppl의 관용은 더 미안합니다.
— TomTom

1
+1-이것은 실제로 대용량 테이프를위한 교과서입니다. (심지어와 오프 사이트 저장소에 두 개의 테이프 절단과) 테이프 기반의 아카이브 스토리지를 추가하는 증분 비용이되는 디스크 드라이브 및 테이프 하드보다 낮은 것을 의미 보관하십시오. LTO는 구식 미디어에 액세스 할 수있는 제품을 개발하겠다는 약속을 보여준 업계 협회의 지원을받습니다. 그럼에도 불구하고, 몇 년 안에 테이프 요소를 교체 할 때 잠재적 비트 부패를 막기 위해 오래된 데이터를 새로운 테이프 형식으로 마이그레이션해야합니다. 이것이 "OPEX"이어야한다면 임대 옵션을 고려하십시오.
— Evan Anderson

1
테이프는 양호하지만 규칙적인 테스트, 오프 사이트 로테이션 등의 훈련이 필요합니다. 필자는 니어 라인 NAS (아마 nas4free) 및 오프 사이트 동일한 상자에 대한 속도 제한 rsync를 사용합니다.
— quadruplebucky

4

먼저 빙하를 피하는 것이 좋습니다. 실제로 많은 양의 데이터를 복원하는 데 드는 비용을 경감 할 때까지 좋습니다. 이것은 비공식 계산기로 빙하 저장 및 검색 비용을 계산하고 스스로 판단 할 수 있습니다 . 빙하에서 테라 바이트 단위의 데이터를 복원하는 것은 꽤 매력적입니다.

둘째, 간단한 백업을 위해 많은 드라이브가있는 단일 NAS 서버를 사용하는 것이 좋습니다. 가정 및 소규모 사무실 NAS 옵션 만 살펴본 것처럼 적절한 NAS 제품을 고려해야합니다. Dell을 선호하면서 Dell의 PowerVault NAS 서버를 지적 하지만 HP, IBM, SuperMicro 및 그 밖의 모든 사람들은 비슷한 제품을 제공합니다. 미디어 라이브러리로 사용되는 구형 Dell PowerVault NX가 집에 있으며 2TB 니어 라인 SAS 디스크가 12TB 있습니다. 요즘에도 4TB 니어 라인 SAS 드라이브를 사용할 수 있으므로 항상 적절한 NAS 서버를 채울 수 있습니다. (또는 몇 대의 NAS 서버를 구입하십시오.)

로컬 LAN에서이 중 하나를 쉽게 사용하고 원하는 백업 소프트웨어 ( 예 : 무료로 Bacula, 공급 업체 지원을 원하는 경우 12 가지 상용 제품 중 하나)를 설치하고 대용량 RAID 볼륨을 백업 대상. 그런 다음 클라우드 백업 서비스를 사용하여이 NAS 서버를 백업하고 로컬 및 원격 백업의 이점을 얻을 수 있습니다. 다시, 이것은 내가 집에서하는 일입니다. 적절한 NAS 서버, 테라 바이트 단위의 데이터가 클라우드 서비스에 백업되었습니다.

물론 테이프도 사용할 수 있습니다. LTO 테이프 드라이브 또는 라이브러리를 구입하십시오-개인적으로 테이프 나 광 디스크 미디어를 피하기 위해 많은 시간을 할애하지만 합법적 인 옵션이며 디스크보다 저렴할 수 있습니다 디스크 솔루션.

마지막으로, 인터넷 파이프의 크기 인 클라우드 백업 서비스의 주요 단점을 고려해야합니다. 인터넷 연결을 통해 테라 바이트 단위의 데이터를 업로드하거나 ISP에서 추가 요금을 지불하는 데 몇 주 또는 몇 달이 걸릴 수 있습니다. 따라서 엔터프라이즈 데이터를 포함하여 데이터를 백업하기위한 실행 가능한 옵션이지만, 이미 적중 할 때까지 대부분의 사람들이 고려하지 않는 제약 조건입니다.


+1. Glacier는 보관 용입니다. 백업용 S ++++입니다. 백업은 연령대에 대한 복원이 없음을 의미하며 LOT-5 % 할당량은 복원시 지불하는 것을 의미합니다.
— TomTom

1

예산에 따라 다릅니다. ~ $ 6k 만 지출 할 수 있다면 아마도 나만의 NAS를 구축해야합니다. nas4free와 서버 비용에 대해 살펴 보겠습니다. 2 천만 달러를 지출 할 수 있다면 Linux 나 그 밖의 모든 디스크와 알맞은 RAID 카드 또는 소프트웨어 RAID로 서버를 채울 수 있습니다.

약 $ 40k에 10Gbit iSCSI를 갖춘 하이 엔드 1U (IBM x3550 M4, 2 포트 Emulex 10GBit nic, 4Gbit NIC, 128GB RAM, 2 개의 로컬 10k SAS 디스크)와 24 개의 4TB SAS 디스크가있는 Infortrend SAN 박스를 가질 수 있습니다. 그러나 당신이 원하는 슬라이스와 주사위. RAID6은 합리적인 구성입니다.

테이프도 좋은 생각이지만 실제로 얼마나 저렴한 지 모르겠습니다. 도서관의 규모에 따라 다릅니다. 48 개의 테이프 라이브러리가 양호하면 1U 및 외부 SAS 카드를 사용하여 $ 30k 및 2 개의 LTO6 드라이브로 다시 수행 할 수 있습니다. 그러나 테이프 백업 등을 관리하려면 소프트웨어 라이센스가 필요합니다. NetBackup 만 사용했는데 아마도 여기에 적합하지 않을 것입니다. 테이프 라이브러리를 소프트웨어로 구동하고 싶을 것입니다. 그러나 라이브러리에서 나간 후에는 테이프를 찾아서로드하는 것을 잊지 말고 액세스 할 수있는 준비 영역을 추가하십시오.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책과 개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.