Ver si el archivo de identidad está en la lista
ssh-add -l
Si no, añádelo
ssh-add ~/.ssh/username
Entonces pude seleccionar el archivo de identidad adecuado
Parece que ssh está probando todas las identidades que conoce. Si solo desea probar la identidad especificada en el archivo de configuración, agregue la línea
IdentitiesOnly = yes
a esa sección Host de su archivo .ssh/config.
Aquí está la sección relevante de la página man de ssh_config:
IdentitiesOnlyEspecifica que ssh(1) solo debe usar los archivos de identidad de autenticación configurados en los archivos ssh_config, incluso si ssh-agent(1) ofrece más identidades. El argumento de esta palabra clave debe ser ''sí'' o ''no''. Esta opción está pensada para situaciones en las que ssh-agent ofrece muchas identidades diferentes. El valor predeterminado es ''no''.