解決策 1:
zpool status -D poolname を使用できます コマンド。
出力は次のようになります:
[email protected]:/volumes# zpool status -D vol1
pool: vol1
state: ONLINE
scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013
DDT entries 2459286, size 481 on disk, 392 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 2.23M 35.6G 19.0G 19.0G 2.23M 35.6G 19.0G 19.0G
2 112K 1.75G 1005M 1005M 240K 3.75G 2.09G 2.09G
4 8.03K 129M 73.8M 73.8M 35.4K 566M 324M 324M
8 434 6.78M 3.16M 3.16M 4.61K 73.8M 35.4M 35.4M
16 119 1.86M 811K 811K 2.33K 37.3M 15.3M 15.3M
32 24 384K 34.5K 34.5K 1.13K 18.1M 1.51M 1.51M
64 19 304K 19K 19K 1.63K 26.1M 1.63M 1.63M
128 7 112K 7K 7K 1.26K 20.1M 1.26M 1.26M
256 3 48K 3K 3K 1012 15.8M 1012K 1012K
512 3 48K 3K 3K 2.01K 32.1M 2.01M 2.01M
1K 2 32K 2K 2K 2.61K 41.7M 2.61M 2.61M
2K 1 16K 1K 1K 2.31K 36.9M 2.31M 2.31M
Total 2.35M 37.5G 20.1G 20.1G 2.51M 40.2G 21.5G 21.5G
重要なフィールドは Total です 割り当てられたブロックと合計 参照ブロック。上記の例では、重複排除率が低くなっています。 40.2G はディスク上の 37.5G のスペースに格納されます。または、235 万ブロック分のスペースに 251 万ブロック。
テーブルの実際のサイズを取得するには、以下を参照してください:
DDT エントリ 2459286、ディスクのサイズ 481、コアのサイズ 392
2459286*392=964040112 バイト 1024 と 1024 で割って取得:RAM で 919.3MB .
解決策 2:
元のメール スレッドと @ewwhite を読んだ後 上記の回答は半分しかカバーしていないため、この質問には更新された回答が必要だと思います.
例として、私のプールで出力を使用してみましょう。コマンド zdb -U /data/zfs/zpool.cache -bDDD My_pool を使用しました .私のシステムでは、追加の -U が必要でした FreeNASが通常とは異なる場所に保存する、プールのZFSキャッシュファイルを見つけるためのarg;あなたはそれをする必要があるかもしれませんし、そうでないかもしれません。通常は zdb を試してください -U なし まず、キャッシュ ファイル エラーが発生した場合は、find / -name "zpool.cache" を使用します。 または同様に、必要なファイルを見つけます。
これは私の実際の出力であり、以下に解釈しました:
DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
DDT histogram (aggregated over all DDTs):
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
意味と実際の重複排除テーブル サイズの計算:
出力には、重複が存在するブロック用の 2 つのサブテーブルが表示されます (DDT-sha256-zap-duplicate ) と重複が存在しないブロック用 (DDT-sha256-zap-unique) )/。その下の 3 番目の表は、これら両方の全体の合計を示し、その下に要約行があります。 「合計」行と要約だけを見ると、必要なものが得られます。
<ブロック引用>
複数回出現するすべてのブロックの DDT サイズ ("DDT-sha256-zap-duplicate") :
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")
一意のブロックの DDT サイズ ("DDT-sha256-zap-unique") :
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")
すべての DDT エントリの合計 DDT 統計、重複 + 一意 ("すべての DDT で集計された DDT ヒストグラム") :
allocated referenced
(= disk space actually used) (= amount of data deduped
into that space)
______ ______________________________ ______________________________
blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
まとめ :
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
数値計算をしてみましょう。
-
ブロック数は次のように機能します: 重複ブロックに関連するエントリの数 =771295、一意のブロックに関連するエントリの数 =4637966、DDT テーブルのエントリの合計は 771295+4637966 =5409261 になるはずです。したがって、百万単位のブロック数 (2 進数で百万です!) は 5409261 になります。 / (1024^2) =515.8 万。要約を見ると、合計 516 万ブロックあることがわかります .
-
必要な RAM は次のように機能します: 重複ブロックの 771295 エントリはそれぞれ RAM で 165 バイトを占有し、一意ブロックの 4637966 エントリはそれぞれ RAM で 154 バイトを占有するため、現時点で重複排除テーブルに必要な合計 RAM =841510439 バイト =841510439 / (1024^2) M バイト=803 MB =0.78 GB の RAM .
(使用されるディスク上のサイズは、「ディスク上のサイズ」の数値を使用して、同じ方法で計算できます。明らかに、ZFS はディスク I/O を効率的に使用しようとしており、DDT によって占有されるディスク領域が使用されないという事実を利用しています。 「通常は問題ではありません。したがって、ZFS は、効率を維持するために、154 バイトまたは 165 バイトだけでなく、各エントリに完全な 512 バイト セクタ、またはそれらの行に沿った何かを単に割り当てているように見えます。これには、複数のエントリの許可が含まれていない可能性があります。ディスク上にコピーが保持されます。これは通常、ZFS が行います) -
保存されたデータの総量と重複排除によるメリット: 合計 DDT 統計から、715G バイト (「715G」) のデータが、ディスク上に割り当てられた 578G バイト (「578G」) のストレージのみを使用して格納されます。したがって、重複除外のスペース節約率は (715 GB のデータ) / (重複除外後に使用される 578 GB のスペース) です。 =1.237 x、これは要約が示していることです ("dedup =1.24")。