Quizás esté asumiendo que hay una "denegación predeterminada" implícita:no la hay.
ALL EXCEPT 192.168.122.1 simplemente no se aplica al host 192.168.122.1, por lo que se verifican las entradas posteriores.
Asumiendo que no tienes un antiguo tcpwrappers (es decir, es compatible y se creó con -DHOSTS_ACCESS ) solo deberías usar hosts.allow :
sshd: 192.168.122.1 : DENY
sshd: ALL : ALLOW
(Tenga en cuenta que permitir por defecto es una mala práctica, por supuesto)