Muchas distribuciones tienen alguna facilidad para una instalación mínima; esencialmente donde selecciona manualmente solo aquellos paquetes que explícitamente desea instalar. Debian tiene esta capacidad y sería una mejor opción, en su situación, que el otro competidor mínimo obvio, Arch Linux.
El estado de lanzamiento continuo de Arch puede proporcionar un nivel de complejidad continua que desea evitar. Debian proporcionaría la base simple y mínima que está buscando, además de ofrecer estabilidad. Hay una publicación de blog sobre el uso de Debian como un quiosco que puede ofrecer algunos consejos útiles.
Para un navegador, como sugiere beav_35, Uzbl es una buena opción. Mi recomendación sería Vimprobable, un navegador WebKit que admite secuencias de comandos, funciona con teclado y se puede controlar de manera efectiva a través de SSH.
Como administrador de ventanas, recomendaría dwm:con menos de 2000 SLOC, es extremadamente liviano y se puede configurar fácilmente para una configuración de tipo quiosco.
En primer lugar, es posible que no desee reinventar la rueda... Hay varias distribuciones centradas en quioscos. Uno de esos podría ahorrarle mucho trabajo.
En segundo lugar, si está familiarizado con Kickstart en Fedora y RHEL (o CentOS o Scientific Linux), puede usar las herramientas de Fedora para hacer su propio giro de cualquiera de esas distribuciones. La documentación está un poco dispersa, pero comience aquí.
Comience con una distribución mínima como Arch Linux, luego instale los paquetes que necesita. Para un navegador web simple, pruebe Uzbl.