Entiendo que está usando Hyper-V, pero los conceptos son similares. Tal vez esto te lleve por el camino correcto.
Es probable que su problema se deba al aumento de la memoria virtual, una técnica que utiliza el hipervisor para optimizar la memoria. Vea este enlace para una descripción
Observé exactamente los mismos síntomas con mis máquinas virtuales en vSphere. Una máquina 4G sin nada ejecutándose reportaría 30M usados por caché, pero más de 3G "usados" en la línea "-/+ buffers".
Aquí hay una salida de muestra del comando de estadísticas de VMWare. Esto muestra qué tan cerca de 3G se agrega a mi cantidad "usada":
vmware-toolbox-cmd stat balloon
3264 MB
En mi caso, obviamente, el controlador de mi globo estaba usando ~3G
No estoy seguro de cuál es el comando similar en Hyper-V para obtener las estadísticas de su globo, pero estoy seguro de que obtendrá resultados similares