Bueno, Firefox REQUIERE un servidor X. Lo que necesitaría es instalar Firefox con la ayuda de la administración de paquetes; debería instalar el mínimo de paquetes, incluido el servidor X. Luego, solo necesita ejecutar el servidor X sin el entorno de escritorio. Básicamente algo como:
$ X
Luego simplemente inicia Firefox en este servidor X:
$ DISPLAY=:0 firefox
Puede cambiar desde el servidor X y el framebuffer usando CTRL+ALT+F1 y CTRL+ALT+F7.
Espero que ayude.