Estoy trabajando en un rootfs mínimo basado en buildroot. Este error se solucionó después de haber incluido el paquete "twm" en mi rootfs. Luego, una vez que el tablero está activo, ejecuto los siguientes comandos en la terminal:
export DISPLAY=:0
startx &
luego ejecuta vlc
vlc
De esta manera me deshice de este error.
Dado que dice que ha compilado vlc de forma cruzada y enfrenta problemas de inicio de dbus, espero que esté trabajando en un fs raíz mínimo.
Intenta hacer esto en tu terminal antes de ejecutar vlc:
$ export DISPLAY=:0
Si ha compilado dbus con soporte x11, el lanzamiento de dbus tendrá éxito.