No hay regla, pero generalmente /usr/local (es decir, /usr/local/bin para binarios).
También puede especificar dónde desea instalar con el --prefix opción. Por ejemplo
./configure --prefix /home/myuser
instalará el software en su directorio de inicio.
Además de la respuesta de Matteo, puede examinar el Makefile para ver dónde se instalará un programa en particular. Usando GNU Hello como ejemplo:
/usr/local/src/hello-2.10 $ cat Makefile | grep prefix
...
bindir = ${exec_prefix}/bin
datarootdir = ${prefix}/share
exec_prefix = ${prefix}
includedir = ${prefix}/include
libdir = ${exec_prefix}/lib
libexecdir = ${exec_prefix}/libexec
localstatedir = ${prefix}/var
prefix = /usr/local
...
Podemos ver que esto se instalará en /usr/local (el prefix variable). También podemos ver en qué subdirectorios se colocarán varios archivos, por ejemplo, binarios (variable bindir )).