No hay forma:la página de manual de ls le mostrará que la configuración predeterminada (para --color) es 'ninguno', es decir. nunca uses color.
¿Alguna razón por la que no quieras usar alias? Soy un usuario en recuperación de Red Hat, así que cada vez que instalo una nueva distribución establezco tres alias de ls así:
## Colorize the ls output ##
alias ls='ls --color=auto'
## Use a long listing format ##
alias ll='ls -la'
## Show hidden files ##
alias l.='ls -d .* --color=auto'