Tuve el mismo problema, encontré la respuesta en https://www.evonide.com/non-root-gpu-passthrough-setup/. Debe agregar -cpu host,kvm=off a la línea de comando qemu. Estoy usando ganeti, así que lo siguiente solucionó el problema:
gnt-instance modify -H cpu_type="host\,kvm=off"
Si entiendo correctamente, este indicador no desactiva la aceleración KVM para el invitado, eso se activa con -machine pc,accel=kvm . Pero desactiva la aceleración KVM anidada para el huésped (por lo que no podrá ejecutar una máquina virtual KVM dentro del huésped).
No sé si tengo mucho que aportar, me parece que nvidia está saboteando activamente los intentos de pasar pci (se supone que debes comprar una tarjeta Quadro).
Intente falsificar las identificaciones del dispositivo pci agregando x-pci-vendor-id=0x10DE,x-pci-device-id=0x11BA,x-pci-sub-vendor-id=0x10DE,x-pci-sub-device-id=0x0965 al -device vfio-pci, argumento. Esto hará que parezca una Quadro K5000.