Cómo instalar Apache Kafka en CentOS/RHEL 7

Apache Kafka es un potente motor de mensajería, ampliamente utilizado en BigData proyectos y el Análisis de Datos ciclo vital. Es una plataforma de código abierto para construir canalizaciones de transmisión de datos en tiempo real. Es una plataforma distribuida de publicación y suscripción con confiabilidad, escalabilidad y durabilidad.

Podemos tener Kafka como independiente o como un clúster. Kafka almacena los datos de transmisión y se pueden categorizar como Temas . El Tema tendrá varias particiones para que pueda manejar una cantidad arbitraria de datos. Además, podemos tener múltiples réplicas para tolerancia a fallas como las que tenemos en HDFS . En un clúster de Kafka, el intermediario es un componente que almacena los datos publicados.

Zookeeper es un servicio obligatorio para ejecutar un Kafka clúster, ya que se utiliza para gestionar la coordinación de los agentes de Kafka. Zookeeper juega un papel clave entre el productor y el consumidor, donde es responsable de mantener el estado de todos los corredores.

En este artículo explicaremos cómo instalar Apache Kafka en un solo nodo CentOS 7 o RHEL 7 .

Instalación de Apache Kafka en CentOS 7

1. Primero, necesitas instalar Java en su sistema para ejecutar Apache Kafka sin ningún error. Entonces, instale la versión predeterminada disponible de Java usando el siguiente comando yum y verifique el Java versión como se muestra.

# yum -y install java-1.8.0-openjdk
# java -version

2. A continuación, descargue la versión estable más reciente de Apache Kafka desde el sitio web oficial o use el siguiente comando wget para descargarlo directamente y extraerlo.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz 
# tar -xzf kafka_2.13-2.7.0.tgz 

3. Crea un enlace simbólico para kafka paquete, luego agregue la ruta del entorno de Kafka a .bash_profile y luego inicialícelo como se muestra.

# ln -s kafka_2.13-2.7.0 kafka
# echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile
# source ~/.bash_profile

4. A continuación, inicie Zookeeper , que viene integrado con Kafka paquete. Dado que es un clúster de un solo nodo, puede iniciar Zookeeper con las propiedades predeterminadas.

# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties

5. Valide si el cuidador del zoológico es accesible o no simplemente telnet al guardián del zoológico puerto 2181 .

# telnet localhost 9092

6. A continuación, cree un tema de muestra.

# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint

7. Enumere el tema creado.

# kafka-topics.sh --zookeeper localhost:2181 --list

Conclusión

En este artículo, hemos visto cómo instalar un clúster de Kafka de un solo nodo en CentOS 7 . Veremos cómo instalar un Kafka Cluster multinodo en el próximo artículo.