¿Cómo redirigir solo Stderr?

Tengo un poco de problemas para hacer esto. Debo ejecutar un archivo .java compilado y redirigir solo stderr a un archivo llamado error. Entonces el archivo .java se llama javaProgram.java.

Esto es lo que he probado:

java javaProgram 2> error

Sin embargo, cuando

cat error

parece que hay cosas allí, incluso cuando sé con certeza que el archivo .java específico no tiene errores. ¿Estoy haciendo algo mal? Todo lo que quiero que muestre este archivo de errores son errores, nada más.

Respuesta aceptada:

Tu primer intento fue correcto; 2>filename es cómo redirigir stderr. Puede darse el caso de que su programa esté escribiendo algunos errores en stderr, o que el programa java esté ejecutando otros programas que envían a stderr.