$ which java
debería darte algo como
/usr/bin/java
update-java-alternatives -l
le dirá qué implementación de Java es la predeterminada para su sistema y en qué parte del sistema de archivos está instalada. Consulta el manual para ver más opciones.
Esto depende un poco de su sistema de paquetes... si el java el comando funciona, puede escribir readlink -f $(which java) para encontrar la ubicación del comando java. En el sistema OpenSUSE en el que estoy ahora devuelve /usr/lib64/jvm/java-1.6.0-openjdk-1.6.0/jre/bin/java (pero este no es un sistema que usa apt-get ).
En Ubuntu, parece que está en /usr/lib/jvm/java-6-openjdk/ para OpenJDK, y en algún otro subdirectorio de /usr/lib/jvm/ para Suns JDK (y otras implementaciones también, creo).
Debian es lo mismo.
Para cualquier paquete dado, puede determinar qué archivos instala y dónde los instala consultando dpkg. Por ejemplo, para el paquete 'openjdk-6-jdk':dpkg -L openjdk-6-jdk
Esta pregunta se moverá, pero puede hacer lo siguiente
which javac
o
cd /
find . -name 'javac'