Cómo configurar la alta disponibilidad para Namenode - Parte 5

Hadoop tiene dos componentes principales que son HDFS y HILO . HDFS es para almacenar los datos , HILO es para procesar los Datos . HDFS es Sistema de archivos distribuidos de Hadoop , tiene Namenode como Servicio Maestro y nodo de datos como Servicio esclavo .

Nodo de nombre es el componente crítico de Hadoop que almacena los metadatos de los datos almacenados en HDFS . Si el Namenode se cae, no se podrá acceder a todo el clúster, es el único punto de falla (SPOF ). Por lo tanto, el entorno de producción tendrá Alta disponibilidad de Namenode para evitar la interrupción de la producción si un Namenode se cae debido a varias razones, como fallas en la máquina, actividad de mantenimiento planificada, etc.

Hadoop 2.x proporciona la posibilidad de que podamos tener dos Namenodes , uno será Nombre activo y otro será Standby Namenode .

• Nodo de nombre activo – Gestiona todas las operaciones del cliente.
• Nodo de nombre en espera – Es redundante de Nombre activo . Si NN activo se apaga, luego Standby NN asumirá toda la responsabilidad de Active NN .

Habilitación de la alta disponibilidad de Namenode requiere Guardián del zoológico que es obligatorio para la conmutación por error automática. ZKFC (Controlador de conmutación por error de Zookeeper ) es un guardián del zoológico cliente que se utiliza para mantener el estado de Namenode .

Requisitos

• Prácticas recomendadas para implementar el servidor Hadoop en CentOS/RHEL 7:parte 1
• Configuración de los requisitos previos de Hadoop y fortalecimiento de la seguridad:Parte 2
• Cómo instalar y configurar Cloudera Manager en CentOS/RHEL 7:parte 3
• Cómo instalar CDH y configurar ubicaciones de servicios en CentOS/RHEL 7:Parte 4

En este artículo, vamos a habilitar Alta disponibilidad de Namenode en Administrador de Cloudera .

Paso 1:Instalación de Zookeeper

1. Inicie sesión en Administrador de Cloudera .

http://Your-IP:7180/cmf/home

2. En el Cluster (tecmint ) mensaje de acción, seleccione "Agregar servicio ”.

3. Selecciona el servicio “Zookeeper ”.

4. Seleccionar los servidores donde vamos a tener Zookeeper instalado.

5. Vamos a tener 3 Zookeepers para formar Quorum Zookeeper . Seleccione los servidores como se menciona a continuación.

6. Configurar el Guardián del zoológico properties, aquí tenemos las predeterminadas. En tiempo real, debe tener directorios/puntos de montaje separados para almacenar Zookeeper datos. En Parte 1 , hemos explicado acerca de la configuración de almacenamiento para cada servicio. Haga clic en 'continuar ' para continuar.

7. La instalación comenzará, una vez instalado Zookeeper será iniciado. Puede ver las operaciones en segundo plano aquí.

8. Después de completar con éxito el paso anterior, el estado será 'Terminado '.

9. Ahora, guardián del zoológico está correctamente instalado y configurado. Haga clic en 'Finalizar '.

10. Puedes ver el Zookeeper servicio en Cloudera Manager Tablero.

Paso 2:habilitar la alta disponibilidad de Namenode

11. Vaya a Administrador de Cloudera –> HDFS –> Acciones –> Habilitar alta disponibilidad .

12. Introduzca el Nombre del servicio de nombres como “servicio de nombres1 ”:este es un espacio de nombres común para Namenode activo y en espera.

13. Seleccione el segundo nodo de nombre donde vamos a tener Namenode en espera .

14. Aquí estamos seleccionando master2.tecmint.com para Namenode en espera .

15. Selecciona el Diario nodos, estos son servicios obligatorios para sincronizar Activo y Namenode en espera .

16. Estamos haciendo Quorum Journal colocando el Diario nodo en 3 servidores como se menciona a continuación. Seleccione 3 servidores y haga clic en 'Aceptar'.

17. Haga clic en 'Continuar ' para continuar.

18. Ingrese al nodo de diario ruta de directorio. Solo necesitamos mencionar la ruta mientras instalamos este directorio que será creado automáticamente por el propio servicio. Estamos mencionando como ‘/jn’ . Haga clic en 'Continuar ' para continuar.

19. Comenzará a habilitar la Alta disponibilidad .

20. Una vez completados todos los procesos en segundo plano, obtendremos 'Terminado ' Estado.

21. Finalmente, recibiremos una notificación 'Alta disponibilidad habilitada con éxito '. Haga clic en 'Finalizar '.

22. Verificar el Activo y nodo de nombre en espera yendo a Administrador de Cloudera –> HDFS –> Instancias .

23. Aquí, puedes ver dos Namenodes , uno estará en el 'Activo ' y otro estará en 'Standby ' estado.

Conclusión

En este artículo, hemos repasado el proceso paso a paso para habilitar Alta disponibilidad de Namenode . Es muy recomendable tener Alta disponibilidad de Namenode en todos los clústeres en un entorno de tiempo real. Publique sus dudas si encuentra algún error al realizar este proceso. Veremos Alta disponibilidad del administrador de recursos en el próximo artículo.