Tienes algunas opciones:
- PostGIS 2 es compatible con TIN y algunos otros objetos 3D.
- GRASS tiene soporte a través de un complemento. Consulte este documento de procedimientos.
- QGIS tiene un complemento de interpolación (ver aquí)
- Desarrolle sus propias bibliotecas importando las bibliotecas GDAL en un paquete de modelado 3D como Blender (lo hago mucho de esta manera porque quiero un modelo 3D interactivo en lugar de análisis, pero siempre puede exportar el resultado a DXF o Collada).
Todos estos enfoques deberían ser posibles en Linux y creo en Mac también.
EDITAR:Acabo de recordar otros dos para ti:Terragen (versiones comerciales y gratuitas) y LD3T. LD3T teóricamente funciona en Linux pero reconocen que hay problemas. Solo lo he ejecutado bajo Windows. Vale la pena señalar que Blender, Landserf (ver la publicación de SS_Rebelious) y LD3T pueden leer/escribir en el formato Terragen.
También para este propósito a su servicio:
- SAGA GIS (tiene módulo TIN y muchas herramientas para análisis y manipulación DEM)
- LandSerf (basado en Java, concentrado en la manipulación de DEM y TIN)