Eche un vistazo a este enlace https://help.github.com/articles/working-with-ssh-key-passphrases/
¡Pero no quiero ingresar una frase de contraseña larga cada vez que uso la clave!
¡Yo tampoco! Afortunadamente, hay una pequeña herramienta ingeniosa llamada ssh-agent que puede guardar su contraseña de forma segura para que no tenga que volver a ingresarla. Si está en OSX Leopard o posterior, sus claves se pueden guardar en el llavero del sistema para hacer su vida aún más fácil. La mayoría de las instalaciones de Linux iniciarán automáticamente ssh-agent cuando inicie sesión.
Prueba esto:
git config credential.helper store
Tendrá que ingresar su contraseña una vez, luego se almacenará en una carpeta dentro de la raíz.
Como señalaron los comentarios, Esto NO funciona para contraseñas SSH, solo para contraseñas HTTPS.
Habilité el almacenamiento en caché de contraseñas como se describe aquí:
https://help.github.com/articles/caching-your-github-password-in-git/#platform-linux
Para almacenar en caché la contraseña durante un mes:
git config --global credential.helper 'cache --timeout=2628000'