Windows Server 2012 R2에서 356GB에서 1.32GB로 중복 제거

Server 2012 R2 스토리지 공간에서 중복 제거를 실험하고 있습니다. 지난 밤에 첫 중복 제거 최적화를 실행했으며 340GB가 줄었다는 것을 알게되어 기뻤습니다.

여기에 이미지 설명을 입력하십시오

그러나 나는 이것이 사실 이기에는 너무 좋다는 것을 알았습니다. 해당 드라이브에서 중복 제거의 100 %가 SQL Server 백업에서 나왔습니다.

여기에 이미지 설명을 입력하십시오

폴더에 20 배 크기의 데이터베이스 백업이 있다는 점을 고려하면 비현실적으로 보입니다. 예로서:

여기에 이미지 설명을 입력하십시오

13.3GB 백업 파일이 0 바이트로 중복 제거되었음을 알 수 없습니다. 물론 파일을 테스트 복원 할 때 해당 파일이 실제로 작동하지 않습니다.

부상을 입히기 위해 드라이브에 거의 TB 용량 의 데이터가 포함되어 있지만 중복 제거 해야 할 폴더가 하나 더 있습니다.

Server 2012 R2 중복 제거가 작동합니까?

windows-server-2012-r2 deduplication storage-spaces

— 마크 헨더슨
소스

나는 그 것을 기억해야 할 것입니다. "물론 당신이 나를 화나게했기 때문에 데이터를 삭제하지 않았습니다. 나는 0 바이트로 중복 제거했습니다."

— HopelessN00b

데이터가 어느 날 밤에 동일하다고 가정 할 때 중복 제거를 수행 할 수 있습니까? 즉, 첫 번째 백업과 마지막 백업이있는 경우 매일 밤 VSS와 같은 차이점에 대한 스냅 샷일뿐입니다. 이론적으로 첫 번째 사본과 마지막 사본이 파일을 중간에 재생성하기에 충분할 경우이를 0으로 중복 제거 할 수 있습니다. 그러나 복원에 실패했기 때문에 설명으로 무엇을 보게 될지를 기다릴 것입니다. 그러나 당신의 시험은 유망하지 않습니다 ..

— MikeAWood

@MikeAWood 완전히 다른 데이터베이스 백업을 0 바이트로 중복 제거했습니다. 내가 중복 제거를 원했던 것 중 하나는 지적했듯이 밤마다 백업의 90 %가 동일하다는 것입니다.

— Mark Henderson

@MarkHenderson 새 드라이브를 설정하고 모든 드라이브를 복사하면 작동합니까? 우연히 추측. 초기 데이터 확인 프로세스가 수행되어야하거나 제대로 작동하지 않는 DFS와 유사 할 수 있습니다. 당신의 결과는 이상합니다. 잘만되면 당신은 그것을 이해, 나는 무슨 일이 있었는지 궁금합니다.

— MikeAWood

@MikeAWood-나는 그것을 시도하지 않았다. 그 이후로 드라이브를 삭제하고 다른 중복 제거 설정으로 다시 만들었으므로 다른 덤프가 실행될 때 오늘 밤에 어떤 일이 발생하는지 확인할 것입니다

— Mark Henderson

답변:

중복 제거가 작동합니다.

중복 제거를 사용하면 디스크의 크기 필드가 의미가 없습니다. 파일은 더 이상 일반적인 "파일"이 아니라 포인트를 재분석하고 실제 데이터는 포함하지 않지만 중복 제거 엔진이 파일을 재구성하기위한 메타 데이터를 포함합니다. 중복 제거 청크 저장소가 볼륨 단위이므로 파일 단위로 절약 할 수 없으므로 볼륨 단위로만 절약 할 수 있습니다. http://msdn.microsoft.com/en-us/library/hh769303(v=vs.85).aspx

다른 데이터가 아직 중복 제거되지 않은 경우 중복 제거 작업이 아직 완료되지 않았을 수 있습니다. 초고속이 아니며 기본적으로 시간 제한이 있으며 하드웨어에 따라 리소스가 제한 될 수 있습니다. 서버 관리자에서 중복 제거 일정을 확인하십시오.

약 1 년 동안 여러 시나리오 (SCCM DP, 다른 배포 시스템, 일반 파일 서버, 사용자 홈 폴더 파일 서버 등)로 여러 시스템 (Windows 2012 R2)에 dedup을 배포했습니다. RTM 이후로 중복 제거 기능 (누적 업데이트 및 핫픽스)에 대한 여러 패치를 기억합니다.

그러나 일부 시스템은 로컬 시스템 (IIS, SCCM)의 최적화 된 파일에서 직접 데이터를 읽을 수없는 문제가 있습니다. yagmoth555에서 제안한대로 Expand-DedupFile을 사용하여 파일을 최적화 해제하거나 파일의 사본을 작성 (대상 파일은 다음 최적화가 실행될 때까지 최적화되지 않음)하고 다시 시도해야합니다. http://blogs.technet.com/b/configmgrteam/archive/2014/02/18/configuration-manager-distribution-points-and-windows-server-2012-data-deduplication.aspx https : //kickthatcomputer.wordpress .com / 2013 / 12 / 22 / no-input-file-specified-windows-server-2012-dedupe-on-iis-with-php /

SQL 백업이 실제로 손상된 경우 다른 문제로 인한 것으로서 중복 제거 기술과 관련이 없다고 생각합니다.

— 돈 줌익
소스

답변 해주셔서 감사합니다. 당신의 대답은 나의 결과를 반영합니다. 중복 제거에 대한 오해가 있었으며 테스트 방법론에 결함이있었습니다.

— Mark Henderson

@ 오해와 테스트 방법론에 대해 공유 할 수있는 것은 무엇입니까? 아마도 블로그 게시물에 있습니까? 내가 당신 (그리고 따라서)이 잘못되었을 수 있다고 생각할 수 없으므로 배우는 것이 흥미로울 것입니다. 편집 : 나는 지금 당신의 대답을 보았습니다 ...하지만 블로그 게시물이 있다면 잘 읽을 것입니다.

— Ashley

@AshleySteel 나는 더 이상 블로그를하지 않습니다. 옛날 옛적에 사용됩니다. 모든 것이 기본적으로 Windows Server 중복 제거 기능의 작동 방식을 이해하지 못하고 나에게 내려 왔습니다.

— Mark Henderson

이런 종류의 중복 제거는 불가능하다는 말로 총을 뛰어 넘었던 것 같습니다. 압축되지 않은 SQL Server 백업 외에도 호스트 VM의 VMWare 스냅 샷 수준 백업도 있기 때문에 분명히 가능합니다.

yagmoth555가 제안했듯이, 나는 Expand-DedupeFile이러한 0 바이트 파일 중 일부를 실행 했으며 그 끝에 완전히 사용할 수있는 파일을 얻었습니다.

그런 다음 파일이 좋지 않다고 판단한 방법에 대한 테스트 방법을 살펴 보았고 테스트에서 결함을 발견했습니다 (권한!).

또한 16 진 편집기에서 0 바이트 중복 제거 된 백업 파일을 열었으며 모든 것이 정상으로 보였습니다 .

그래서 테스트 방법을 조정했는데 실제로 모든 것이 작동하는 것 같습니다. 내가 그 자리를 떠났을 때, 중복 제거 기능이 실제로 향상되었으며, 이제 중복 제거 기능 덕분에 1.5TB 이상의 공간을 절약했습니다.

나는 이것을 생산에 밀어 넣기 전에 이것을 철저히 테스트 할 것이지만, 지금은 유망 해 보인다.

— 마크 헨더슨
소스

예, 그러나 hyperv cluster db dedup'ed의 경우 만 보았습니다. 4tb에서 400g이고 VM이 실행 중입니다. OS가 완전히 패치되었습니다.

SQL 백업 파일의 경우 읽을 수있는 덤프입니까? 내용을 확인하겠습니다. 그 부분에서는 ascii 파일의 중복 제거 방법에 답할 수 없습니다.

— yagmoth555
소스

그것들은 바이너리 파일이지만, 이미 언급했듯이 그 안에있는 것이 완전히 손상되었습니다. 나는 실제로 16 진수 편집기에서 내용을 확인하지 않았으며 그 이후로 그 드라이브를 nuk하고 다른 dedupe 매개 변수로 다시 작성하여 오늘 밤에 일어나는 일을 확인했습니다.

— Mark Henderson

@MarkHenderson 크기가 0 일 때 중복 제거 메타 데이터에서 청크 손상이 발생할 수 있습니다. "중복은 인기있는 청크가 많은 파일에 의해 참조 될 수 있기 때문에 단일 청크 손상의 영향을 증가시킵니다. 섹터 오류로 인해 1000 개의 파일이 참조하는 청크가 손실된다고 가정하면 즉시 1000 개의 파일 손실이 발생합니다. " cmd Expand-DedupFile은 나쁜 .bak 또는

— 중복 제거