Estos son los pasos para instalar Apache Kafka en el servidor Rocky Linux o AlmaLinux 8, por supuesto, usando la terminal de comandos.
Apache Kafka es un software de código abierto que permite el almacenamiento y procesamiento de flujos de datos a través de una plataforma de transmisión distribuida. En palabras simples, Apache Kafka es una plataforma de transmisión de eventos que actúa como un sistema de mensajería entre el remitente y el destinatario con alta tolerancia a fallas y capacidades de escalabilidad porque se basa en una arquitectura distribuida que está optimizada para lo mismo.
Bueno, este sistema fue desarrollado originalmente por LinkedIn como una cola de mensajes, sin embargo, al ser un proyecto de Apache Software Foundation, es de código abierto y una poderosa plataforma de transmisión con una variedad de funciones. Ofrece interfaces para escribir datos en clústeres de Kafka, leer datos o importar y exportar datos hacia y desde sistemas de terceros. Debido a la baja latencia y el alto rendimiento, puede procesar transmisiones en tiempo real fácilmente.
Las interfaces también permiten a los usuarios cargar flujos de datos de sistemas de terceros o exportarlos a estos sistemas. Esto hace que Apache Kafka sea adecuado para grandes cantidades de datos y aplicaciones en el entorno de big data.
Se puede usar para una amplia gama de aplicaciones, como el seguimiento de la actividad del sitio web en tiempo real, el monitoreo de aplicaciones distribuidas, la agregación de archivos de registro de diferentes fuentes, la sincronización de datos en sistemas distribuidos, la capacitación de modelos en tiempo real ayuda en el aprendizaje automático, y más…
Apache Kafka ofrece estas cuatro interfaces principales (API:interfaces de programación de aplicaciones). Conozca más sobre cada API en la página de documentación oficial:
- API de administración
- API de productor
- API de consumidor
- API de transmisiones
- API de conexión
Qué necesitas para seguir este tutorial:
- Rocky o AlmaLinux 8 o cualquier otro servidor basado en RHEL, si es posible, limpie uno.
- Un usuario con acceso sudo.
Pasos para instalar Apache Kafka en Rocky Linux 8
La guía proporcionada se aplica a todos los sistemas Linux basados en RHEL 8, incluidos CentOS 8 y Oracle Linux 8, para instalar Kafka si es necesario.
1. Actualizar sistema
Bueno, antes de continuar, ejecute el comando de actualización del sistema para asegurarse de que todos los paquetes instalados estén actualizados. Para eso, ejecute el siguiente comando, esto también actualizará el caché del repositorio.
sudo dnf update
2. Instalar Java
Apache Kafka necesita Java para ejecutarse, por lo tanto, primero debemos instalarlo en nuestro entorno local y debe ser igual o superior a Java 8. Bueno, no necesitamos agregar ningún tercer repositorio porque el paquete para obtener JAVA ya está allí. en el repositorio base del sistema, por lo tanto, usemos el comando dado.
Para Java 11
sudo dnf install java-11-openjdk
Bueno, para la última versión, como la 16, use los siguientes comandos:
sudo dnf install epel-release
sudo dnf install java-latest-openjdk
3. Descargue la última versión de Apache Kafka en Rocky Linux 8 o Almalinux
Apache Kafka está disponible como archivo tarball en el sitio web oficial. Por lo tanto, vaya al sitio web oficial y descargue la última versión. También puede copiar cualquier enlace espejo y usar el wget comando para descargar usando la línea de comando, como lo hemos hecho aquí:
sudo dnf install wget nano
wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz
Extrae el archivo descargado
tar -xf kafka_*tgz
Para ver el archivo:
ls
Muévalo a /usr/local/ solo para asegurarnos de que no eliminaremos la carpeta Kafka accidentalmente.
sudo mv kafka_2.13-3.0.0/ /usr/local/kafka
4. Crear servicio de sistema para Zookeeper y Kafka
Aunque solo para la prueba, puede ejecutar el script de servicio Zookeeper y Kafka directamente, manualmente, sin embargo, para el servidor de producción tenemos que ejecutarlo en segundo plano. Por lo tanto, cree unidades systemd para ambos scripts.
Crear archivo de sistemas Zookeeper
Según el sitio web oficial en el futuro, Kafka no necesitará Zookeeper, sin embargo, mientras escribimos este artículo lo necesitamos. Por lo tanto, primero cree un archivo de servicio para Zookeeper.
sudo nano /etc/systemd/system/zookeeper.service
Copie y pegue las líneas siguientes:
[Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple ExecStart=/usr/bin/bash /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties ExecStop=/usr/bin/bash /usr/local/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Guardar y cierre el archivo presionando Ctr+O , pulsa Intro y luego salga usando Ctrl+X .
Ahora, cree el archivo Kafka systemd
sudo nano /etc/systemd/system/kafka.service
Pegue las siguientes líneas. Nota – Cambiar el Java_Home , en caso de que esté utilizando alguna otra versión. Para encontrarlo, puede usar el comando: sudo find /usr/ -name *jdk
[Unit] Description=Apache Kafka Server Documentation=http://kafka.apache.org/documentation.html Requires=zookeeper.service [Service] Type=simple Environment="JAVA_HOME=/usr/lib/jvm/jre-11-openjdk" ExecStart=/usr/bin/bash /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties ExecStop=/usr/bin/bash /usr/local/kafka/bin/kafka-server-stop.sh [Install] WantedBy=multi-user.target
Guarde el archivo con Ctrl+O, pulsa Intro y luego use Ctrl+X para salir del mismo.
Recargar demonio
Para reflejar los cambios realizados anteriormente en el sistema y usar los archivos de servicio, vuelva a cargar el demonio del sistema una vez.
sudo systemctl daemon-reload
5. Inicie Zookeeper y Kafka Server en Rocky Linux
Ahora, comencemos y habilitemos ambos servicios del servidor para asegurarnos de que también se activen incluso después de reiniciar el sistema.
sudo systemctl start zookeeper sudo systemctl start kafka
sudo systemctl enable zookeeper sudo systemctl enable kafka
Consultar el estado de los servicios:
sudo systemctl status zookeeper
sudo systemctl status kafka
6. Crear temas de prueba en Kafka:Rocky o AlmaLinux
Kafka nos permite leer, escribir, almacenar y procesar eventos en varias máquinas; sin embargo, para almacenar estos eventos, necesitamos un lugar o carpeta llamado "Temas “. Entonces, en la terminal de su servidor, cree al menos un tema usando el siguiente comando, usando el mismo más tarde puede crear tantos temas como desee.
Digamos que el nombre de nuestro primer tema es:testevent . Entonces, para crear la misma ejecución:
Ve a tu directorio de Kafka.
cd /usr/local/kafka/
Y use la secuencia de comandos Temas:
bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic testevent
Después de crear tantos temas como quieras, para listarlos todos podemos usar el siguiente comando:
bin/kafka-topics.sh --list --bootstrap-server localhost:9092
7. Escribe algún evento usando Kafka Producer y lee con el consumidor
Kafka ofrece dos API:Producer y Consumidor , para ambos ofrece un cliente de línea de comandos. El productor es responsable de crear eventos y el Consumidor los utiliza para mostrar o leer los datos generados por el Productor.
Abra dos pestañas o sesiones de terminal para comprender el generador de eventos y la configuración del lector en tiempo real.
#En una primera terminal:
Para probar, creemos algunos eventos usando el script Producer:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testevent
Escriba algún texto que desee transmitir y mostrar en el extremo del consumidor.
#En la otra terminal
Corre, el comando dado a continuación junto con el nombre del tema para verificar los mensajes o los datos de eventos generados en tiempo real:
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testevent --from-beginning
