Es posible que desee investigar cgroups, así como el ulimit más antiguo (obsoleto).
En teoría, debería poder usar ulimit para este propósito. Sin embargo, personalmente nunca he conseguido que funcione.
Cómo verificar el uso de memoria del proceso con el comando pmap de Linux
Cómo obtener el uso de la CPU de un solo proceso en Linux
Cómo encontrar los principales procesos en ejecución por memoria y uso de CPU en Linux
limitando el uso de memoria en R bajo Linux
Volcar la memoria de un proceso de Linux en un archivo
Ubuntu Linux:procesamiento de memoria de intercambio y uso de memoria