Tus claves SSH no se agregará automáticamente al agente solo porque se conectó a un servidor mediante SSH...
Ejecutar ssh-add -l para enumerar las claves del agente, ssh-add -D para limpiar todas las claves.
Otra forma de limitar las claves que se verifican es agregar IdentitiesOnly yes a /.ssh/config y una lista de entradas
IdentityFile ~/.ssh/<nameofkey>
También puede agregarlos a cada entrada de Host:
Host server-name
HostName <ipaddress>
User <username>
IdentityFile ~/.ssh/<nameofkey>
SSH Man Page también tiene más opciones.