setfont modifica la fuente en la consola VGA (lo que obtienes cuando presionas CTRL-ALT-F1, etc.) No hará nada en la Terminal.
Normalmente, solo el usuario root puede acceder al dispositivo de la consola al que setfont necesita conectarse para cambiar la fuente. Es por eso que recibe un mensaje de error cuando lo ejecuta desde su cuenta de usuario normal. Una excepción es cuando un usuario inicia sesión en la consola VGA... entonces el usuario tiene acceso a la consola y setfont tiene éxito.
El hecho de que reciba el mensaje de error cada vez que inicia Terminal significa que probablemente tenga algún comando en su .bashrc, .bash_profile, .bash_login, .profile o /etc/profile que se ejecuta cada vez que inicia una terminal. ¿Será que tienes setfont en uno de estos lugares? de lo contrario, busque algo más que pueda estar accediendo a la consola.
Se corrigió un error similar en Ubuntu escribiendo xdg-open seguido del nombre del archivo.