데이터 내구성 / 파일 손상 관리

하드 드라이브의 수명이 제한되어 있고 데이터가 손상되었다는 것을 알고 있습니다. 하드 드라이브는 여전히 정상으로 보이며 테스트를 통과하지만 일부 파일은 중간 정도의 물리 / 열화로 인해 원래와 다르게 읽히기 시작합니다.

데이터 백업 / 미러링은 전체 디스크 오류 문제를 해결하지만 자동 데이터 손상 문제는 해결하지 않습니다 . 또한 소스 / 마스터 디스크에 일부 파일이 손상된 경우 다음 백업에서 백업 디스크의 올바른 버전을 덮어 쓰게되어 본질적으로 오류가 확산되고 원본을 복구 할 수 없게됩니다.

2017 년, 온 프레미스 문제 를 해결하기 위해 어떤 기술 / 솔루션이 있습니까 (99.999 ... %의 내구성으로 클라우드에 데이터 아카이브를 업로드하는 것과 대조적으로)?

기본적으로 파일의 체크섬을 추적하고 변경 시점을 감지하는 소프트웨어에 대해 들었지만 더 낮은 수준 (예 : 파일 시스템 수준) 솔루션이 있는지 궁금합니다. 예를 들어, 파일 / 블록이 기록 / 업데이트 될 때마다 파일 체크섬을 계산하고 손상된 체크섬을 탐지하기 위해 체크섬 확인을 지원하는 파일 시스템은 오류가 백업 미디어에 확산되기 전에 조치를 취할 수 있습니까?

마지막으로, 내가 알지 못하는 문제에 대해 완전히 다른 접근법이 있습니까?

ZFS는 기본적으로이 작업을 수행하도록 설계되었습니다. 각 데이터 블록을 체크섬하고 손상된 경우 "가상 RAID"의 다른 부분에서 데이터를 복원합니다 (ZFS는 하드웨어 RAID 대신 자체 RAID를 사용하는 것을 선호합니다).

ZFS의 기능 중 하나는 디스크를 검사하고 오류를 검사하는 프로세스 인주기적인 스크럽을 수행하는 것입니다.

ZFS는 블록 및 파일 시스템 수준 솔루션입니다 (RAID 유형 솔루션의 블록 장치에 파일 시스템을 갖는 것과는 다른 패러다임).

또한 대부분의 RAID 시스템은 블록 수준에서 Perodic 검증을 허용하지만 강력하지는 않으며 실제로 좋은 데이터를 나쁜 것으로 덮어 쓸 수 있습니다. 이 ZFS가 우회하는이 지뢰밭에 대한 더 많은 연구를 위해 Google "Write Hole"

이것은 일을 관리하는 방법에 대한 둥근 것처럼 보일지 모르지만 "내구성 및 데이터 손상"에 대비하여 데이터를 관리 하는 가장 좋은 ( 가장 적은 양의 리소스로 가장 효과적인 ) 방법은 디스크 배열을 올바르게 관리하고 적절한 방법을 사용하는 것입니다 백업 및 버전 관리 체계가 확립되어 있습니다.

ZFS 및 BTRFS 어레이 / 파일 시스템 콤보에서 사용하는 체크섬은 데이터 손상을 적극적으로 발견 할 수 있지만 반드시 수행 할 작업에 대한 "응답"을 제공하지는 않으며 특정 데이터 세트에 대한 백업이 여전히 필요할 수 있습니다. 다른 어레이의 AND 스크럽은 어레이가 재 구축되도록 데이터 손상을 발견 할 수도 있습니다. 또한 배터리 백업 및 Write-Intent-Bitmaps는 쓰기 홀 문제를 처리 할 수 ​​있습니다. 전반적으로 최신 스토리지 시스템은 올바르게 구현되면 실제로 발생하는 문제를 처리 할 수 ​​있도록 매우 강력합니다.

데이터 손상으로 인해 어레이 / 파일 시스템 콤보를 체크섬하는 것이 큰 문제라면 모든 대기업은 합산 어레이 / 파일 시스템 콤보 만 사용하고 점검 할 것입니다. 실제로는 그렇지 않습니다. 그 대신 중복 SAN 및 스위치, 배터리 백업, 생성기, 전원 컨디셔너, 시간 테스트 파일 시스템, 잘 관리 된 어레이 및 백업, 백업, 백업을 갖춘 강력한 인프라가 있습니다!

실제로 작은 데이터 손상으로 인해 실제로 문제가 발생하는 경우는 매우 드 rare니다. 개인적으로 적절한 시스템 관리에 의존하여 데이터 손상 자체를 능동적으로 관리하는 것이 더 낫다는 것을 알았습니다. 지난 20 년 동안 무작위로 작동하지 않는 데이터 파일이 몇 개 있었으며 데이터가 손상되었다고 가정합니다. 그러나 실제로는 필요하지 않은 파일을 한 번도 가지고 있지 않았으며, 내가 한 경우 해당 파일의 백업으로 이동하고, 그렇지 않은 경우 내 인생은 계속 될 것입니다!

또한 나는 개인적인 삶이나 사업에 끝이없는 단일 파일을 생각할 수 없다. 하나도 아닙니다. 화난 고객? 내가 정직하고 그것을 증명할 필요가있는 소송에서 누락 된 정보 조각? 개인 메모리가 손상 되었습니까? 이것들은 내가 피하고 싶은 것들이지만,이 모든 것들은 기회가 0에 가까워지면 실제로 개인 데이터 시간과 돈의 제한된 양의 가치가 있습니다.

내 생각으로는 소규모 설정을 위해 "데이터 내구성 / 파일 손상 관리"를 할 수있는 최선의 방법은 다음과 같습니다.

• 상황에 맞는 방식으로 배열을 실행하십시오.
• 드라이브 고장시 적절한 재 구축을 보장하기 위해 정기적으로 스크러빙하십시오.
• 배터리로 지원되는 하드웨어 컨트롤러 또는 소프트웨어 어레이에 대한 쓰기 의도 비트 맵 사용
• URE 또는 스크럽간에 문제가 발생하는 경우 재 구축 실패를 방지하기 위해 가능하면 패리티가 아닌 배열을 사용하십시오.
• 그리고 대부분의 ciritcal 은 적절한 백업 및 버전 관리 체계를 갖추 었 습니다.

본질적으로 적절한 시스템 관리는 데이터 손상 문제를 처리합니다.