GNU/Linux >> Tutoriales Linux >  >> Linux

Cómo redirigir la salida completa de spark-submit a un archivo

spark-submit imprime la mayor parte de su salida en STDERR

Para redirigir toda la salida a un archivo, puede usar:

spark-submit something.py > results.txt 2>&1

O 

spark-submit something.py &> results.txt

Si ejecuta Spark-Submit en un clúster, los registros se almacenan con el Id. de la aplicación. Puede ver los registros una vez que finaliza la aplicación.

yarn logs --applicationId <your applicationId> > myfile.txt

Debería traerte el registro de tu trabajo

El ID de la aplicación de su trabajo se proporciona cuando envía el trabajo Spark. Podrá verlo en la consola donde está enviando o desde la interfaz de usuario de Hadoop.


Linux

  1. ¿Cómo redirigir la salida de un programa a un archivo zip?

  2. ¿Redirigir y canalizar la salida?

  3. Cómo grep con salida de color

  4. Cómo redirigir la salida de un proceso que ya se está ejecutando

  5. ¿Cómo verificar si un archivo está vacío en Bash?

Cómo redirigir stderr a stdout en Bash

Cómo redirigir la salida del comando de shell

Cómo redirigir la salida a un archivo y stdout

¿Cómo agregar la salida a un archivo?

¿Cómo redirigir la salida del comando de tiempo a un archivo en Linux?

Cómo redirigir la salida del programa como su entrada