Solución 1:
Puedes usar el zpool status -D poolname comando.
La salida sería similar a:
[email protected]:/volumes# zpool status -D vol1
pool: vol1
state: ONLINE
scan: scrub repaired 0 in 4h38m with 0 errors on Sun Mar 24 13:16:12 2013
DDT entries 2459286, size 481 on disk, 392 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 2.23M 35.6G 19.0G 19.0G 2.23M 35.6G 19.0G 19.0G
2 112K 1.75G 1005M 1005M 240K 3.75G 2.09G 2.09G
4 8.03K 129M 73.8M 73.8M 35.4K 566M 324M 324M
8 434 6.78M 3.16M 3.16M 4.61K 73.8M 35.4M 35.4M
16 119 1.86M 811K 811K 2.33K 37.3M 15.3M 15.3M
32 24 384K 34.5K 34.5K 1.13K 18.1M 1.51M 1.51M
64 19 304K 19K 19K 1.63K 26.1M 1.63M 1.63M
128 7 112K 7K 7K 1.26K 20.1M 1.26M 1.26M
256 3 48K 3K 3K 1012 15.8M 1012K 1012K
512 3 48K 3K 3K 2.01K 32.1M 2.01M 2.01M
1K 2 32K 2K 2K 2.61K 41.7M 2.61M 2.61M
2K 1 16K 1K 1K 2.31K 36.9M 2.31M 2.31M
Total 2.35M 37.5G 20.1G 20.1G 2.51M 40.2G 21.5G 21.5G
Los campos importantes son el Total bloques asignados y el Total bloques referenciados. En el ejemplo anterior, tengo una tasa de deduplicación baja. 40,2 G se almacenan en disco en 37,5 G de espacio. O 2,51 millones de bloques en 2,35 millones de bloques de espacio.
Para obtener el tamaño real de la tabla, consulte:
Entradas DDT 2459286, tamaño 481 en disco, 392 en núcleo
2459286*392=964040112 bytes Divida entre 1024 y 1024 para obtener:919,3 MB en RAM .
Solución 2:
Después de leer el hilo de correo electrónico original y @ewwhite's respuesta que lo aclaró, creo que esta pregunta necesita una respuesta actualizada, ya que la respuesta anterior solo cubre la mitad.
Como ejemplo, usemos la salida en mi grupo. Usé el comando zdb -U /data/zfs/zpool.cache -bDDD My_pool . En mi sistema necesitaba el -U adicional arg para ubicar el archivo de caché ZFS para el grupo, que FreeNAS almacena en una ubicación diferente a la normal; puede o no necesitar hacer eso. Por lo general, intente zdb sin -U primero, y si obtiene un error de archivo de caché, use find / -name "zpool.cache" o similar para localizar el archivo que necesita.
Este fue mi resultado real y lo interpreté a continuación:
DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
DDT histogram (aggregated over all DDTs):
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Qué significa todo esto y calcular el tamaño real de la tabla de deduplicación:
El resultado muestra dos subtablas, una para bloques donde existe un duplicado (DDT-sha256-zap-duplicate ) y uno para bloques donde no existe duplicado (DDT-sha256-zap-unique )/. La tercera tabla debajo de ellos brinda un total general en ambos, y hay una fila de resumen debajo de eso. Mirar solo las filas "totales" y el resumen nos da lo que necesitamos:
Tamaño DDT para todos los bloques que aparecen más de una vez ("DDT-sha256-zap-duplicado") :
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")
Tamaño de DDT para bloques que son únicos ("DDT-sha256-zap-unique") :
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")
Estadísticas totales de DDT para todas las entradas de DDT, duplicadas + únicas ("Histograma de DDT agregado sobre todos los DDT") :
allocated referenced
(= disk space actually used) (= amount of data deduped
into that space)
______ ______________________________ ______________________________
blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
Resumen :
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Hagamos algunos cálculos numéricos.
-
El recuento de bloques funciona así: Número de entradas relacionadas con bloques duplicados =771295, número de entradas relacionadas con bloques únicos =4637966, el total de entradas en la tabla DDT debe ser 771295+4637966 =5409261. Por lo tanto, el número de bloques en millones (¡millones binarios!) sería 5409261 / (1024^2) =5.158 millones. En el resumen encontramos que hay 5,16 millones de bloques en total .
-
La memoria RAM necesaria funciona así: Cada una de las 771295 entradas para bloques duplicados ocupa 165 bytes en RAM, y las 4637966 entradas para bloques únicos ocupan cada una 154 bytes en RAM, por lo que la RAM total necesaria para la tabla de deduplicación en este momento =841510439 bytes =841510439 / (1024^2) MBytes =803 MB =0,78 GB de RAM .
(El tamaño en disco utilizado se puede calcular de la misma manera, usando las cifras de "tamaño en disco". Claramente, ZFS está tratando de usar E/S de disco de manera eficiente y aprovechando el hecho de que el espacio en disco ocupado por el DDT es normalmente no es un problema. Así que parece que ZFS simplemente está asignando un sector completo de 512 bytes para cada entrada, o algo por el estilo, en lugar de solo 154 o 165 bytes, para mantener la eficiencia. Esto podría no incluir ninguna asignación para múltiples copias guardadas en el disco, lo que suele hacer ZFS). -
La cantidad total de datos almacenados y el beneficio de eliminarlos: De las estadísticas totales de DDT, 715 Gbytes ("715G") de datos se almacenan usando solo 578 GBytes ("578G") de almacenamiento asignado en los discos. Por lo tanto, nuestra tasa de ahorro de espacio de desduplicación es (715 GB de datos) / (578 GB de espacio utilizado después de la desduplicación) =1,237 x, que es lo que nos dice el resumen ("dedup =1,24").