El IdentityFile el parámetro de configuración debe apuntar a la clave privada que utiliza el cliente SSH para demostrar su identidad al servidor remoto. (El servidor remoto, entonces, debería tener el contenido de id_rsa.pub instalado en su authorized_keys archivo, o una ubicación equivalente).
Deberías poner la ruta a id_rsa , no id_rsa.pub , como argumento para IdentityFile en tu ~/.ssh/config .