Cómo instalar Apache Kafka en Debian 10

En este tutorial, le mostraremos cómo instalar Apache Kafka en Debian 10. Para aquellos de ustedes que no lo sabían, Apache Kafka es una plataforma de transmisión de eventos distribuidos de código abierto utilizada por miles de empresas para canalizaciones de datos de alto rendimiento, análisis de transmisión, integración de datos y aplicaciones de misión crítica.

Este artículo asume que tiene al menos conocimientos básicos de Linux, sabe cómo usar el shell y, lo que es más importante, aloja su sitio en su propio VPS. La instalación es bastante simple y asume que se están ejecutando en la cuenta raíz, si no, es posible que deba agregar 'sudo ' a los comandos para obtener privilegios de root. Le mostraré la instalación paso a paso de Apache Kafka en Debian 10 (Buster).

Requisitos previos

• Un servidor que ejecuta uno de los siguientes sistemas operativos:Debian 10 (Buster).
• Se recomienda que utilice una instalación de sistema operativo nueva para evitar posibles problemas.
• Un non-root sudo user o acceder al root user . Recomendamos actuar como un non-root sudo user , sin embargo, puede dañar su sistema si no tiene cuidado al actuar como root.

Instalar Apache Kafka en Debian 10 Buster

Paso 1. Antes de ejecutar el tutorial a continuación, es importante asegurarse de que su sistema esté actualizado ejecutando el siguiente apt comandos en la terminal:

sudo apt update

Paso 2. Instalación de Java.

Ahora instala Java usando el siguiente comando:

sudo apt install default-jdk

Verifique la versión de Java ejecutando el siguiente comando:

java -version

Paso 3. Instalación de Apache Kafka en Debian 10.

Ahora ejecutamos el siguiente comando para descargar los paquetes de Apache Kafka desde el sitio web oficial:

wget https://downloads.apache.org/kafka/2.8.0/kafka_2.12-2.8.0.tgz

Luego, extraiga el archivo comprimido descargado:

tar xzf kafka_2.12-2.8.0.tgz
mv kafka_2.12-2.8.0 /usr/local/kafka

Paso 4. Crear archivos de unidad Systemd.

Ahora creamos systemd unitarios para el servicio Zookeeper y Kafka. Esto ayudará a administrar los servicios de Kafka para comenzar o dejar de usar el systemctl comando:

nano /etc/systemd/system/zookeeper.service

Agregue el siguiente archivo:

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

A continuación, para crear un systemd Kafka archivo de unidad usando el siguiente comando:

nano /etc/systemd/system/kafka.service

Agregue el siguiente contenido:

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Guarde los archivos y vuelva a cargar el systemd demonio para aplicar nuevos cambios:

sudo systemctl daemon-reload
sudo systemctl start zookeeper
sudo systemctl start kafka

Paso 5. Crea un tema en Kafka.

Primero, cree un tema llamado "MakeTopic" con una sola partición con una sola réplica:

cd /usr/local/kafka
bin/kafka-maketopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic MakeTopic

Después de eso, puede ver los temas creados en Kafka ejecutando el siguiente comando:

$ bin/kafka-maketopics.sh --list --zookeeper localhost:2181
MakeTopic

Paso 6. Enviar mensajes a Kafka.

Ahora ejecutamos el productor y luego escribimos algunos mensajes en la consola para enviar al servidor:

$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic MakeTopic

>Welcome to kafka
>This is my first topic
>

Paso 7. Uso de Kafka Consumer.

Apache Kafka también tiene un consumidor de línea de comandos para leer datos del clúster de Kafka y mostrar mensajes en la salida estándar.

$ bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic MakeTopic --from-beginning

Welcome to kafka
This is my first topic

¡Felicitaciones! Ha instalado Apache Kafka correctamente. Gracias por usar este tutorial para instalar la última versión de Apache Kafka en el sistema Debian. Para obtener ayuda adicional o información útil, le recomendamos que consulte la sitio web oficial de Apache Kafka.