La opción de hacerlo existe desde (al menos) abril de 2014.
Deberá instalar un paquete llamado pam_ssh_agent_auth (disponible para Centos 7 listo para usar, YMMV), luego configure /etc/pam.d/sudo para aceptarlo como un método de autorización. Finalmente, es posible que deba agregar SSH_AUTH_SOCK a la lista de variables de entorno que persisten durante sudo .
El wiki de Gentoo tiene detalles para estos pasos.