20TB 이상의 데이터를 백업하는 방법?

우리는 내가 일하는 회사에 NAS 세션 서버를 가지고 있으며 사진 세션 저장에 사용되고 있습니다. 각 세션은 약 100gb입니다. 지난 2 년 동안이 서버는 10TB 이상의 데이터를 축적했으며 기하 급수적으로 사진 촬영 량을 늘리고 있습니다. 내년 말까지이 NAS에 20TB 이상이 저장 될 것으로 예상됩니다. 현재 Symantec BackupExec과 함께 LTO-5 테이프를 사용하여이 서버를 테이프에 백업하고 있습니다. 이 서버의 크기가 커지므로이 서버의 전체 백업이 밤새 완료되지 않습니다. 누구 든지이 양의 데이터를 백업하는 방법에 대한 제안이 있습니까? 테이프에 백업해야합니까? 더 나은 다른 옵션이 있습니까?

한 걸음 물러서서 "내 NAS에 20TB가 있고 백업해야합니다!"라는 생각을 멈추어야합니다. 데이터의 특성을 고려한 스토리지 전략을 개발하십시오.

• 어디에서 왔으며 얼마나 많은 새로운 데이터를 얻고 있습니까? (당신은 당신의 질문에 이것을 가지고 있습니다)
• 데이터가 있으면 어떻게 사용됩니까? 사람들이 사진을 편집하고 있습니까? 원본을 유지하고 편집 된 버전을 생성합니까?
• 모든 데이터를 얼마나 오래 유지해야합니까? 사람들은 2 년 전에도 여전히 사진을 변경하고 있습니까?

마지막 두 가지 질문에 대한 답변에 따라 근본적으로 다른 백업 시스템보다 더 많은 아카이빙 시스템 이 필요할 수 있습니다.

정적 인 데이터 (예를 들어, "만약"경우에 따라 보관하는 2 년 된 사진)는 매일 밤 또는 매주 백업 할 필요가 없습니다. 실제로 수행하는 작업은 더 복잡 할 수 있지만 개념적으로 모든 오래된 사진을 테이프에 기록하여 (여러 복사본) 더 이상 백업 할 수 없습니다.

귀하의 의견을 바탕으로 몇 가지 추가 생각 :

• 각 촬영의 원본을 그대로 유지하고 사본으로 작업하고 원본 사진 중 일부가 멍청하다고 가정하면 백업해야하는 데이터 양을 반으로 줄일 수 있습니다.

• 어떤 시간 내에도 전체 백업을 완료 할 수없는 경우 속도를 높이는 일반적인 방법은 디스크 간 백업을 먼저 수행 한 다음 나중에 백업 세트를 테이프에 복사하는 것입니다.

두 가지 옵션이 있습니다.

옵션 1:

1. 다른 NAS 구매
2. 사용자에게 RO에게 new_NAS에 대한 액세스 권한 부여
3. 2 년이 지난 모든 파일을 new_NAS로 이동
4. 평소와 같이 old_NAS 백업 유지
5. 6 개월마다 2 년이 지난 파일을 new_NAS로 이동

옵션 2 :

1. 다른 NAS 구매

2. rsync매시간 실행 : old_NAS-> new_NAS

   또는 rsync를 수행하고 파일 변경 사항으로 델타를 유지하는 rdiff-backup 과 같은 것을 더 잘 사용 하십시오 (이전 버전의 파일을 복원 할 수 있음)

   rdiff-backup  user1@old_NAS::/source-dir    user2@new_NAS::/dest-dir
   

3. 6 개월마다 다음과 같이 실행되는 오래된 파일을 정리하십시오.

   rdiff-backup --remove-older-than 2Y    old_NAS::/dest-dir
   

백업이 밤새 완료되어야하는 이유는 무엇입니까? 파일 서버 성능? 낮 동안의 영향을 제한하기 위해 백업 소프트웨어의 대역폭을 제한 할 수 있습니다. 또는 NAS의 인터페이스를 테이프 드라이브와 통신하여 다른 트래픽에 대한 영향을 제한하십시오.

주말에 전체 덤프를 실행할 수 있고 일주일 동안 만 증분 만 수행 할 수 있습니까? 주말에 아무도 없을 때 테이프를 교체하는 데 문제가있는 경우, 저렴한 테이프 라이브러리 / 오토 체인저는 다른 사람에게 테이프 교체 비용을 지불하는 것보다 훨씬 저렴합니다.

백업 창 내에서 완료하기에 충분히 작은 여러 그룹으로 데이터를 분류 할 수 있습니까?

NAS에 약 50TB의 데이터가 있으며 2 개의 테이프 드라이브를 사용하여 전체 내용을 전체 덤프하는 데 1 주일이 소요됩니다 (작은 파일이 많기 때문에 한 볼륨에 거의 1 주일이 걸립니다). 우리가하는 일은 데이터를 두 번째 NAS로 복제하는 것입니다. 보조 NAS는 온 사이트 (기본 데이터와 다른 데이터 센터에 있음)이므로 오프 사이트 백업을 위해 데이터를 테이프로 스풀링합니다. 보조 NAS에서 백업을 실행하므로 백업 속도가 저하되지 않습니다.

보조 NAS를 충분히 멀리 배치 할 수 있다면 테이프가 필요없는 백업이 될 수 있습니다.

각 촬영 세션의 크기가 의심 스럽습니다. 실제 100GB / 세션입니까? 귀사는 매달 몇 번의 세션을합니까?

자주 사용하지 않는 오래된 세션을 저장하고 있으며 자주 그 정보를 복구 할 필요가 없기 때문에 일부 회사의 서비스를 사용하여 해당 작업을 처리하는 것이 좋습니다. .

예를 들어 Amazon Glacier와 같은 온라인 서비스를 사용하여 20TB를 저장하는 데는 월 $ 200 이상이 소요됩니다. 이러한 아카이브를 자주 검색하거나 전체를 복구해야하는 경우 시간 / 비용이 많이 듭니다. 이러한 것들을 "보관하기 위해"저장하는 경우, 제 3자를 사용하면 삶을 더 편하게 만들 수 있습니다 (다른 NAS, 테이프 등을 사는 것보다 훨씬 저렴할 수 있음).

full backups of this server are not completing overnight
그런 다음 증분 백업을 시도 하시겠습니까? xx 일마다 하나의 전체 백업, 나머지는 증분합니다.

하드 디스크는 테이프보다 저렴하고 빠르며 백업에 사용할 수 있습니다.

또한 클라우드 백업을위한 좋은 대안이 있으므로 더 빠르고 더 빠른 테이프를 계속 추가 할 필요가 없습니다.
예를 들면 다음과 같습니다.

• 레드 게이트 클라우드 서비스
• 아마존 백업 스토리지
• Amazon Glacier 지원 (저렴한 장기 스토리지)

이것에 대한 최선의 해결책은 급여 데이터로 수행하는 것이므로 최소한의 노력으로 구현해야한다고 생각합니다.

• 처음에는 매일 백업되는 나머지 서버 데이터와 함께 유지됩니다. 해당 백업의 보존 기간은 13 개월입니다.

• 더 이상 데이터 수정이 필요하지 않을 것으로 예상되면 (두 번의 지불 기간 후 IIRC) 데이터는 (스크립트를 통해) 일반 백업에서 제외 된 아카이브 볼륨에 저장됩니다.

• 아카이브 볼륨은 매년 테이프에 백업되며 테이프는 무한 저장을 위해 Cintas로 전송됩니다.

이를 통해 변경되지 않은 데이터에 쉽게 온라인으로 액세스 할 수 있으므로 (회계사가 무언가를보고 싶어 할 때마다 테이프를 호출 할 필요가 없음) 데이터를 무기한 오프 사이트 아카이브를 유지하면서 영원히 유지해야 할 수도 있습니다 백업 시스템을 손상시키지 않습니다. 동일한 유형의 설정과 같은 소리가 들릴 수 있지만 적시 에이 데이터에 액세스 해야하는 필요에 따라 온라인으로 유지하는 데이터의 양을 조정하고 싶을 수도 있습니다 .20TB의 엔터프라이즈 급 스토리지는 훨씬 비쌉니다. 오프 사이트 볼트에 저장하는 LTO5 테이프 세트 2 ~ 3 개에 보관하는 것보다

어쩌면 당신은 자신의 Backblaze Pod를 만들 수 있습니다 : 135Tb for 7384 $
더 많은 정보를 원하시면 여기를 클릭하십시오 : Backblaze Pod 건물 정보

필요한 조각을 사서 직접 만들 수 있습니다.

어쩌면 당신은 그들 중 3 개를 건설 할 수 있고, 2 개는 현장에, 1 개는 외부에 유지할 수 있습니다. 그런 다음 하나의 포드를 "온라인 데이터"로, 두 번째 온 사이트 포드를 첫 번째 포드의 백업으로, 세 번째 오프 사이트 포드를 비상 오프 사이트 백업으로 사용할 수 있습니다.

각 포드에 대해 135Tb의 스토리지를 사용하면 변경 기록을 유지할 수도 있습니다 ...
135Tb / 20Tb = 19 전체 백업 사본 .
또는 10 개의 전체 백업과 어리석은 양의 차등 백업을 유지할 수 있습니다.

당연히 오프 사이트 백업을 원한다면 큰 대역폭이 필요합니다 ... :-)

동료가 Synology 8 디스크 NAS를 구입했습니다. 하이브리드 RAID를 실행합니다. 그는 몇 주 전에 NewEgg에서 3TB Seagate Barracuda 8 개를 각각 89 달러에 구매했습니다. 프로덕션 NAS에서 GigaBit를 통해이 새로운 NAS로 미러를 재 동기화 할 수 있습니다. 차이 만 전송하기 때문에 전송 시간이 더 짧습니다. 그런 다음 백업 NAS를 사용하여 전체 또는 증분을 수행 할 수 있습니다. 백업 NAS를 구입하는 데 드는 비용은 2000 달러 미만입니다.