Debe usar el indicador -I para excluir un patrón:
tree -a -I '.git'
Espero que ayude.
Escribí un clon de árbol basado en nodos llamado tree-fiddy que respeta la configuración de gitignore. Es bastante alfa en este momento, pero funciona bien en mis máquinas.