Pasa el -n Opción para omitir la resolución de nombres DNS de conexiones IP. Es casi seguro que esta será la mayor parte de cualquier ralentización.
Si está seguro de que puede omitir las conexiones TCP o UDP abiertas, ya que mencionó que hay demasiadas, puede usar la opción específica del dialecto de lsof -X .
lsof -X
Lea la página man de lsof y busque '-X' para obtener información detallada.
Equilibrio de carga del servidor web con HAProxy en Ubuntu 14.04
Cómo instalar Plex Media Server en Ubuntu 16.04 Server/Desktop
Cómo diagnosticar y corregir un arranque muy lento en Ubuntu
Ubuntu 14.04:¿IU muy lenta en Oracle Virtualbox?
Servidor de monitoreo Graylog en Ubuntu Linux para servidores/servicios de monitoreo
Cómo:usar lsof:10 comandos esenciales para solucionar problemas de su servidor Linux