En un artículo anterior, explicamos la instalación de Cloudera Manager, en este artículo aprenderá cómo instalar y configurar CDH (Distribución Cloudera Hadoop ) en RHEL/CentOS 7 .
Al instalar el paquete CDH, debemos asegurarnos de que Cloudera Manager y CDH compatibilidad. La versión de Cloudera tiene 3 partes:.. . Las versiones principal y secundaria de Cloudera Manager deben ser las mismas que las versiones principal y secundaria de CDH.
Por ejemplo, estamos usando Cloudera Manager 6.3.1 y CDH 6.3.2 . Aquí 6 es mayor y 3 es la versión menor. Major y Minor deben ser iguales para evitar problemas de compatibilidad.
Requisitos
- Prácticas recomendadas para implementar el servidor Hadoop en CentOS/RHEL 7:parte 1
- Configuración de los requisitos previos de Hadoop y fortalecimiento de la seguridad:Parte 2
- Cómo instalar y configurar Cloudera Manager en CentOS/RHEL 7:parte 3
Tomaremos los 2 nodos a continuación para instalar CDH. Ya tenemos instalado Cloudera Manager en master1 , también estamos usando master1 como un servidor de repositorio.
master1.tecmint.com
worker1.tecmint.com
Paso 1:Descargar CDH Parcels en el servidor maestro
1. Primero, conéctese a master1 servidor y descargar Paquetes CDH archivos en el /var/www/html/cloudera-repos/cdh directorio Tenemos que descargar los 3 archivos mencionados a continuación que deberían ser compatibles con RHEL/CentOS 7 .
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json
2. Antes de descargar estos archivos, asegúrese de crear un cdh directorio en /var/www/html/cloudera-repos/ ubicación.
$ cd /var/www/html/cloudera-repos/
$ sudo mkdir cdh
$ cd cdh
3. A continuación, descargue los 3 archivos mencionados anteriormente con el siguiente comando wget.
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json
Paso 2:configurar Cloudera Manager Repo en clientes de trabajo
4. Ahora, conéctese a trabajador servidores y copie el archivo de repositorio (cloudera-manager.repo ) del servidor de repositorio (master1 ) a todo el servidor de trabajo restante. Este archivo de repositorio garantiza a los servidores que todos los paquetes y RPM necesarios se descargarán del servidor de repositorio durante la instalación.
cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL
5. Una vez agregado el repositorio, enumere los repositorios habilitados para asegurarse de que cloudera-manager el repositorio está habilitado.
$ yum repolist
Paso 3:Instale los demonios y el agente de Cloudera Manager en los servidores de trabajo
6. Ahora, necesitamos instalar cloudera-manager-daemons y cloudera-manager-agente en todos los servidores restantes.
$ sudo yum install cloudera-manager-daemons cloudera-manager-agent
7. A continuación, debe configurar el Administrador de Cloudera agente para denunciar al Administrador de Cloudera servidor.
$ sudo vi /etc/cloudera-scm-agent/config.ini
Reemplace el localhost con Administrador de Cloudera dirección IP del servidor.
8. Inicie Administrador de Cloudera Agente y verifique el estado.
$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent
Paso 4:Instalar y configurar CDH
Tenemos CDH parcelas en master1 – servidor de repositorios. Asegúrese de que todos los servidores tengan un archivo de repositorio de Cloudera Manager en /etc/yum.repos.d/ si sigue la instalación automática usando Cloudera Manager .
9. Inicie sesión en Cloudera Manager usando la siguiente URL en el puerto 7180 y use el nombre de usuario y la contraseña predeterminados de Cloudera Manager .
http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin
10. Una vez que inicie sesión, será recibido con la página de bienvenida. Aquí puede encontrar notas de la versión, nuevas características de Cloudera Manager.
11. Aceptar la licencia y continuar.
12. Seleccione la Edición. La versión de prueba se ha seleccionado de forma predeterminada, podemos continuar con eso.
13. Ahora, siga los pasos de instalación del clúster. Continúe con la página de bienvenida.
14. Asigne un nombre al clúster y continúe, lo hemos nombrado como “tecmint ”. Hay 2 tipos de clúster que puede definir. Estamos procediendo con el clúster regular.
- Clúster regular :consistirá en nodos de almacenamiento, nodos de cómputo y otros servicios necesarios.
- Clúster de cómputo :Consistirá solo en nodos de cómputo. El almacenamiento externo se puede utilizar para almacenar datos.
15. Ya hemos instalado Agentes de Cloudera Manager en todos los servidores. Puede encontrar esos servidores en "Hosts administrados actualmente ”. Para la instalación automática, debe ingresar el FQDN o IP de los servidores en "Nuevos hosts ” opción y búsqueda. Cloudera Manager detectará automáticamente los hosts en los que necesitamos instalar CDH.
Aquí, haga clic en "Hosts administrados actualmente ”, seleccione todos los hosts seleccionando 'Hostname ' y continuar.
16. Seleccione Repositorio:usando Parcel es la forma recomendada. Haga clic en 'Más opciones ' para configurar el repositorio.
17. Ingrese la URL del repositorio local como se menciona a continuación. Eliminar todos los repositorios públicos restantes que apuntan a la Web (Repositorios de Cloudera ).
Este es el CDH URL del repositorio local que tenemos en master1 .
http://104.211.95.96/cloudera-repos/cdh/
18. Una vez ingresada la URL del repositorio, esta página mostrará solo las parcelas disponibles. Continúe con este paso.
19. Ahora los paquetes se están descargando, distribuyendo, desempaquetando y activando en todos los servidores disponibles.
20. Una vez que las Paquetes CDH están activados, inspeccione el Cluster . Este paso realizará una verificación de estado del clúster. Aquí estamos saltando y continuando.
Paso 5:Configuración del clúster
21. Aquí debemos seleccionar los Servicios para ser instalado en Cluster . Algunas combinaciones empaquetadas estarán disponibles de forma predeterminada, vamos con Servicios personalizados .
22. En Servicios Personalizados , estamos instalando solo Componentes principales (HDFS y HILO ) para este propósito de demostración.
23. Asigne los roles al servidor. Podemos personalizar según nuestros requisitos. Encuentre el siguiente cuadro que describe la distribución de roles recomendada para un pequeño clúster básico de 5 a 20 nodos con alta disponibilidad.
24. Seleccione el tipo de base de datos, el nombre de host, el nombre de la base de datos, el nombre de usuario y la contraseña. Como estamos usando Embedded PostgreSQL, se seleccionará de forma predeterminada. Pruebe la conexión, debería ser exitosa.
25. Esta página mostrará los parámetros de configuración predeterminados de HDFS y Hilo , incluidos los directorios de datos. Revise todos los detalles de configuración y podrá realizar cambios si es necesario. Luego continúa con esto.
26. Esta página mostrará los detalles de la 'Primera ejecución ' dominio. Puede expandirlo para ver los detalles de los comandos en ejecución. Si hay algún problema de red o de permisos en el clúster, este paso fallará. Por lo general, este paso decide la instalación sin problemas del Cluster Building.
27. Una vez completado el paso anterior, haga clic en 'Finalizar ' para completar la instalación. Este es el panel de Cloudera Manager después de instalar CDH.
http://104.211.95.96:7180/cmf/home
Conclusión
Hemos completado el Cloudera Manager y CDH instalación con éxito. En el panel de administración de Cloudera , puede encontrar un conjunto predefinido de gráficos donde puede monitorear la CPU del clúster, E/S de disco, etc. Podemos administrar todo el clúster usando este Administrador de Cloudera . Veremos todas las operaciones administrativas en los próximos artículos.