Su ruta de controlador (/css/ ) se pasa al controlador de FileServer más el archivo después del prefijo. Eso significa que cuando visita http://myhost.fake/css/test.css, su FileServer está tratando de encontrar el archivo ./css/css/test.css .
El paquete http proporciona la función StripPrefix para quitar el /css/ prefijo.
Esto debería hacerlo:
http.Handle("/css/", http.StripPrefix("/css/", http.FileServer(http.Dir("css"))))