Solución 1:
Pude usar lsof
para obtener el descriptor del archivo, luego ejecutó stat /proc/<PID>/fd/<file descriptor>
para obtener la fecha.
Solución 2:
Una combinación de lsof
y /proc
como lo sugiere @opsguy debería hacer el trabajo:
lsof -P -i tcp | awk '{print $2,$4}' | tr -d 'u' | sort -u \
| while read pid fd; do stat --printf "%z %N\n" /proc/$pid/fd/$fd ; done | sort -r