현재 ZFS 중복 제거 테이블의 크기는 얼마입니까?


21

ZFS 중복 제거를위한 RAM 요구 사항 계획에 대한 많은 정보를 읽었습니다. ZFS zvol에서 매우 제한된 중복 제거를 지원하도록 파일 서버의 RAM을 업그레이드했습니다. ZFS zvol에서 스냅 샷과 클론을 사용할 수는 없지만 (다른 파일 시스템으로 zvol 형식이므로) 중복 된 데이터가 많이 포함됩니다.

추가 한 새 RAM이 내가 수행하려는 제한된 중복 제거를 지원하는지 확인하고 싶습니다. 계획을 세우면 제 숫자는 좋아 보이지만 확실 합니다.

라이브 시스템에서 ZFS 중복 제거 테이블 (DDT) 의 현재 크기를 어떻게 알 수 있습니까? 이 메일 링 목록 스레드를 읽었 지만 그들이 어떻게 그 숫자에 도달하는지는 확실하지 않습니다. ( zdb tank필요한 경우 출력을 게시 할 수는 있지만 다른 사람들을 도울 수있는 일반적인 답변을 찾고 있습니다)

답변:


17

zpool status -D poolname명령을 사용할 수 있습니다 .

출력은 다음과 유사합니다.

root@san1:/volumes# zpool status -D vol1
  pool: vol1
 state: ONLINE
 scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013

DDT entries 2459286, size 481 on disk, 392 in core

bucket              allocated                       referenced          
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    2.23M   35.6G   19.0G   19.0G    2.23M   35.6G   19.0G   19.0G
     2     112K   1.75G   1005M   1005M     240K   3.75G   2.09G   2.09G
     4    8.03K    129M   73.8M   73.8M    35.4K    566M    324M    324M
     8      434   6.78M   3.16M   3.16M    4.61K   73.8M   35.4M   35.4M
    16      119   1.86M    811K    811K    2.33K   37.3M   15.3M   15.3M
    32       24    384K   34.5K   34.5K    1.13K   18.1M   1.51M   1.51M
    64       19    304K     19K     19K    1.63K   26.1M   1.63M   1.63M
   128        7    112K      7K      7K    1.26K   20.1M   1.26M   1.26M
   256        3     48K      3K      3K     1012   15.8M   1012K   1012K
   512        3     48K      3K      3K    2.01K   32.1M   2.01M   2.01M
    1K        2     32K      2K      2K    2.61K   41.7M   2.61M   2.61M
    2K        1     16K      1K      1K    2.31K   36.9M   2.31M   2.31M
 Total    2.35M   37.5G   20.1G   20.1G    2.51M   40.2G   21.5G   21.5G

중요한 필드는 할당 블록과 참조 블록입니다. 위의 예에서 중복 제거 비율이 낮습니다. 40.2G는 37.5G의 공간에 디스크에 저장됩니다. 또는 235 만 블록의 공간에 250 만 블록.

테이블의 실제 크기를 얻으려면 다음을 참조하십시오.

DDT 항목 2459286, 디스크 크기 481, 코어 392

2459286 * 392 = 964040112 바이트 1024와 1024로 나누면 919.3MB (RAM)가 됩니다.


1
밀도가 높아진 것에 대해 사과드립니다 ... 제공 한 예에서 dedpue 테이블 이 얼마나 큰지 , 특히 얼마나 많은 RAM / L2ARC를 소비하는지 어떻게 알 수 있습니까?
Josh

1
업데이트 된 게시물을 참조하십시오.
ewwhite

1
나는 특히 @ewwhite의 예제 DDT를 좋아합니다. 왜냐하면 중복 제거를 전혀 사용하지 않는 비율의 훌륭한 예가되기 때문입니다. 중복 제거 된 데이터 세트에서 중복 제거되지 않은 데이터 세트에 이르기까지이 풀의 데이터 세트를 zfs로 보내고 / recv하고, 여전히 관리가 가능할 정도로 작아서 운이 좋았습니다. :) zvol이 중복 제거된다고 가정합니다. 블록 레벨 중복 제거로서 단일 오프셋 차이로 인해 전체가 왜곡 될 수 있습니다. 조언이 있으면 ZFS를 중복 제거하기 전에 테스트 환경에서 프로덕션 데이터 세트를 테스트하기 위해 산을 옮기는 것입니다.
Nex7

constantin.glez.de/blog/2011/07/zfs-dedupe 또는 not-dedupe는 dedup의 예상 승리 및 예상 비용을 계산하는 데 대한 좋은 정보를 제공합니다.
jlp

이 답변에는 업데이트가 필요했지만 완전하지 않았습니다. 자세한 답변은 아래를 참조하십시오
Stilez

5

원래 이메일 스레드와 @ewwhite의 답변을 읽은 후 위의 답변은 절반에 해당하므로 업데이트 된 답변이 필요하다고 생각합니다.

예를 들어, 내 수영장에서 출력을 사용합시다. 나는 명령을 사용했다 zdb -U /data/zfs/zpool.cache -bDDD My_pool. 내 시스템 -U에서 풀의 ZFS 캐시 파일을 찾기 위해 추가 인수가 필요했습니다. FreeNAS는 일반과 다른 위치에 저장합니다. 그렇게해야 할 수도 있고 필요하지 않을 수도 있습니다. 일반적으로 먼저 시도 zdb하지 말고 -U캐시 파일 오류가 발생 find / -name "zpool.cache"하면 필요한 파일을 찾기 위해 또는 이와 유사한 것을 사용 하십시오.

이것은 내 실제 결과물이며 아래에서 해석했습니다.

DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     2     648K   75.8G   68.6G   68.8G    1.39M    165G    149G    149G
     4    71.2K   8.07G   6.57G   6.62G     368K   41.7G   34.1G   34.3G
     8    28.1K   3.12G   2.34G   2.36G     281K   31.0G   23.1G   23.4G
    16    5.07K    424M    232M    241M     110K   9.10G   5.06G   5.24G
    32    1.09K   90.6M   51.8M   53.6M    45.8K   3.81G   2.21G   2.28G
    64      215   17.0M   8.51M   8.91M    17.6K   1.39G    705M    739M
   128       38   2.12M    776K    872K    6.02K    337M    118M    133M
   256       13    420K   21.5K     52K    4.63K    125M   7.98M   18.5M
   512        3      6K      3K     12K    1.79K   3.44M   1.74M   7.16M
    1K        1    128K      1K      4K    1.85K    237M   1.85M   7.42M
    2K        1     512     512      4K    3.38K   1.69M   1.69M   13.5M

DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    4.42M    550G    498G    500G    4.42M    550G    498G    500G


DDT histogram (aggregated over all DDTs):

bucket              allocated                       referenced
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1    4.42M    550G    498G    500G    4.42M    550G    498G    500G
     2     648K   75.8G   68.6G   68.8G    1.39M    165G    149G    149G
     4    71.2K   8.07G   6.57G   6.62G     368K   41.7G   34.1G   34.3G
     8    28.1K   3.12G   2.34G   2.36G     281K   31.0G   23.1G   23.4G
    16    5.07K    424M    232M    241M     110K   9.10G   5.06G   5.24G
    32    1.09K   90.6M   51.8M   53.6M    45.8K   3.81G   2.21G   2.28G
    64      215   17.0M   8.51M   8.91M    17.6K   1.39G    705M    739M
   128       38   2.12M    776K    872K    6.02K    337M    118M    133M
   256       13    420K   21.5K     52K    4.63K    125M   7.98M   18.5M
   512        3      6K      3K     12K    1.79K   3.44M   1.74M   7.16M
    1K        1    128K      1K      4K    1.85K    237M   1.85M   7.42M
    2K        1     512     512      4K    3.38K   1.69M   1.69M   13.5M
 Total    5.16M    638G    576G    578G    6.64M    803G    712G    715G

dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39

그것이 의미하는 바는 무엇이며 실제 중복 제거 테이블 크기를 계산하는 것입니다.

출력에는 중복이 존재하는 블록 ( DDT-sha256-zap-duplicate )과 중복이 존재하지 않는 블록 ( DDT-sha256-zap-unique ) /에 대한 두 개의 하위 테이블 이 표시 됩니다. 아래의 세 번째 표는이 두 가지에 대한 전체 합계를 제공하며 그 아래에 요약 행이 있습니다. "총계"행과 요약 만 살펴보면 다음과 같은 정보가 필요합니다.

두 번 이상 나타나는 모든 블록의 DDT 크기 ( "DDT-sha256-zap-duplicate") :
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")

고유 한 블록의 DDT 크기 ( "DDT-sha256-zap-unique") :
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")

모든 DDT 항목에 대한 총 DDT 통계, 중복 + 고유 ( " 모든 DDT에 대해 집계 된 DDT 히스토그램") :

                    allocated                       referenced
          (= disk space actually used)      (= amount of data deduped 
                                                 into that space)
______   ______________________________   ______________________________
         blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE

 Total    5.16M    638G    576G    578G    6.64M    803G    712G    715G

요약 :
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39

숫자 크 런칭을 해보자.

  • 블록 수는 다음과 같이 작동합니다. 중복 블록 관련 항목 수 = 771295, 고유 블록 관련 항목 수 = 4637966, DDT 테이블의 총 항목 수는 771295 + 4637966 = 5409261이어야합니다. 따라서 블록 수는 수백만 (2 백만)입니다. 즉!)는 5409261 / (1024 ^ 2) = 5.158 백만입니다. 요약에서 우리는 총 5.16M 블록 이 있음을 발견했습니다 .

  • RAM은 다음과 같이 작동합니다. 중복 블록에 대한 771295 항목은 각각 RAM에서 165 바이트를 차지하고 고유 블록에 대한 4637966 항목은 각각 RAM에서 154 바이트를 차지하므로 현재 중복 제거 테이블에 필요한 총 RAM = 841510439 bytes = 841510439 / (1024 ^ 2) MBytes = 803MB = 0.78GB 의 RAM .

    (사용 된 온 디스크 크기는 "디스크상의 크기"그림을 사용하여 동일한 방식으로 해결 될 수 있습니다. ZFS는 디스크 I / O를 효율적으로 사용하고 DDT가 차지하는 디스크 공간이 따라서 ZFS는 효율적으로 유지하기 위해 각 항목에 대해 전체 512 바이트 섹터 또는 154 또는 165 바이트 대신 해당 라인을 따라 무언가를 할당하는 것처럼 보입니다. ZFS가 일반적으로하는 디스크에 보관 된 사본)

  • 저장된 총 데이터 양 및 데이터 중복 제거의 이점 : 총 DDT 통계에서 715GB ( "715G")의 데이터는 디스크에 할당 된 스토리지의 578GB ( "578G") 만 사용하여 저장됩니다. 따라서 우리의 중복 제거 공간 절약 비율은 (715GB의 데이터) / (데이터 중복 제거 후 사용 된 578GB의 공간) = 1.237 x입니다. 이는 요약에서 알려주는 것입니다 ( "dedup = 1.24").

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.