En este artículo habremos explicado los pasos necesarios para instalar y configurar Hadoop en Ubuntu 18.04 LTS. Antes de continuar con este tutorial, asegúrese de haber iniciado sesión como usuario con privilegios de sudo. Todos los comandos de este tutorial deben ejecutarse como un usuario no root.
La biblioteca de software Apache Hadoop es un marco que permite el procesamiento distribuido de grandes conjuntos de datos en grupos de computadoras usando modelos de programación simples. Está diseñado para escalar desde servidores individuales a miles de máquinas, cada una de las cuales ofrece computación y almacenamiento local. En lugar de depender del hardware para brindar alta disponibilidad, la biblioteca en sí está diseñada para detectar y manejar fallas en la capa de la aplicación, por lo que brinda un servicio de alta disponibilidad sobre un grupo de computadoras, cada una de las cuales puede ser propensa a fallas.
Instalar Hadoop en Ubuntu
Paso 1. Primero, antes de comenzar a instalar cualquier paquete en su servidor Ubuntu, siempre recomendamos asegurarse de que todos los paquetes del sistema estén actualizados.
sudo apt update sudo apt upgrade
Paso 2. Instala Java.
Necesitamos instalar Java en la máquina, ya que Java es el principal requisito previo para ejecutar Hadoop. Las versiones de Java 6 y superiores son compatibles con Hadoop. Instalemos Java 8 para esta lección:
sudo apt install openjdk-8-jdk-headless
Verifique que Java esté correctamente instalado:
java -version
Paso 3. Instalación de Hadoop en Ubuntu 18.04.
Descarguemos los archivos de instalación de Hadoop para que también podamos trabajar en su configuración:
mkdir jd-hadoop && cd jd-hadoop wget http://mirror.cc.columbia.edu/pub/software/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz
Una vez descargado el archivo, ejecute el siguiente comando para descomprimirlo:
tar xvzf hadoop-3.2.0.tar.gz
Paso 4. Agregar cuenta de usuario de Hadoop.
Crearemos un usuario de Hadoop independiente en nuestra máquina para mantener HDFS separado de nuestro sistema de archivos original. Primero podemos crear un grupo de usuarios en nuestra máquina:
addgroup hadoop
Ahora podemos agregar un nuevo usuario a este grupo:
useradd -G hadoop hadoopuser
Finalmente, proporcionaremos acceso raíz al usuario jdhadoopuser. Para hacer esto, abra el archivo /etc/sudoers con este comando:
sudo visudo
Ahora, ingrese esto como la última línea en el archivo:
hadoopuser ALL=(ALL) ALL
Paso 5. Configuración de un solo nodo de Hadoop.
Hadoop en un solo nodo significa que Hadoop se ejecutará como un único proceso de Java. Ahora cambie el nombre del archivo hadoop como actualmente presente a solo hadoop:
mv /root/jd-hadoop/hadoop-3.2.0 /root/jd-hadoop/hadoop chown -R hadoopuser:hadoop /root/jd-hadoop/hadoop
Una mejor ubicación para Hadoop será el directorio /usr/local/, así que muévalo allí:
mv hadoop /usr/local/ cd /usr/local/
Ahora, edite el archivo .bashrc para agregar Hadoop y Java a la ruta usando este comando:
nano ~/.bashrc
# Configure Hadoop and Java Home export HADOOP_HOME=/usr/local/hadoop export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$PATH:$HADOOP_HOME/bin
Ahora, es hora de decirle a Hadoop dónde está presente Java. Podemos hacer esto proporcionando esta ruta en el archivo hadoop-env.sh:
find hadoop/ -name hadoop-env.sh
Ahora, edite el archivo:
# nano hadoop-env.sh export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
Paso 6. Probar la instalación de Hadoop.
Podemos probar la instalación de Hadoop ejecutando una aplicación de muestra que viene prefabricada con Hadoop, un JAR de ejemplo de contador de palabras:
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /usr/local/hadoop/README.txt /root/jd-hadoop/Output
Si lo desea, puede ver el contenido de este archivo con el siguiente comando:
cat part-r-00000
Eso es todo lo que necesita hacer para instalar Apache Hadoop en Ubuntu 18.04. Espero que encuentre útil este consejo rápido. Si tiene preguntas o sugerencias, no dude en dejar un comentario a continuación.