limits.conf es leído por pam_limits.so , por lo que debe verificar que este módulo esté habilitado en /etc/pam.d/su . En mi sistema, esto fue comentado por defecto:
# Sets up user limits, please uncomment and read /etc/security/limits.conf
# to enable this functionality.
# (Replaces the use of /etc/limits in old login)
# session required pam_limits.so
Una vez descomentado, el módulo comenzará a funcionar inmediatamente. Si aún tiene problemas, verifique su registro de autenticación (tal vez /var/log/auth.log ), que es donde se escribirán los errores relacionados con los límites.