Suele ser un problema de dns. Intente configurar 'UseDNS no' en sshd_config.
Posiblemente podría ser un retraso de búsqueda de dns inverso. Si su host de conexión no tiene una entrada de DNS, intente agregar una entrada para su sistema de origen en /etc/hosts en el servidor al que se está conectando.
Inicio automático de la sesión de Tmux en el sistema remoto al iniciar sesión a través de SSH
¿Conectar un túnel Ssh al reiniciar?
Recibo un error cuando intento actualizar Youtube-dl en 18.04?
¿Ubuntu 14.04 sigue pidiendo contraseña cuando Ssh?
¿Cómo configuro mi DNS cuando se sobrescribe resolv.conf?
Cambiar el directorio predeterminado cuando hago SSH al servidor