¿Qué tal algo como esto:
ls -ltr --group-directories-first
ls -t
o (al revés, más reciente en la parte inferior):
ls -tr
El ls
La página del manual describe esto con más detalles y enumera otras opciones.
Los directorios tienen d
delante de los permisos en ls -ltr
Entonces, para obtener directorios con uso ordenado de la fecha de modificación
ls -ltr |grep ^d
Y a archivos que no sean directorios
ls -ltr | grep -v ^d