Cómo instalar Apache Kafka en Ubuntu 20.04 LTS

En este tutorial, le mostraremos cómo instalar Apache Kafka en Ubuntu 20.04 LTS. Para aquellos de ustedes que no lo sabían, Kafka es el software de código abierto más popular que proporciona una marco para almacenar, leer y analizar datos de transmisión. Kafka fue desarrollado originalmente por LinkedIn y será de código abierto a principios de 2011 bajo Apache Software Foundation.

Este artículo asume que tiene al menos conocimientos básicos de Linux, sabe cómo usar el shell y, lo que es más importante, aloja su sitio en su propio VPS. La instalación es bastante simple y asume que se están ejecutando en la cuenta raíz, si no, es posible que deba agregar 'sudo ' a los comandos para obtener privilegios de root. Le mostraré la instalación paso a paso de Apache Kafka en Ubuntu 20.04 (Focal Fossa). Puede seguir las mismas instrucciones para Ubuntu 18.04, 16.04 y cualquier otra distribución basada en Debian como Linux Mint.

Requisitos previos

• Un servidor que ejecuta uno de los siguientes sistemas operativos:Ubuntu 20.04, 18.04, 16.04 y cualquier otra distribución basada en Debian como Linux Mint.
• Se recomienda que utilice una instalación de sistema operativo nueva para evitar posibles problemas.
• Un non-root sudo user o acceder al root user . Recomendamos actuar como un non-root sudo user , sin embargo, puede dañar su sistema si no tiene cuidado al actuar como root.

Instalar Apache Kafka en Ubuntu 20.04 LTS Focal Fossa

Paso 1. Primero, asegúrese de que todos los paquetes de su sistema estén actualizados ejecutando el siguiente apt comandos en la terminal.

sudo apt update
sudo apt upgrade

Paso 2. Instalación de Java.

Apache Kafka requiere que Java esté instalado en su servidor. Ejecute el siguiente comando para instalar OpenJDK en el sistema Ubuntu:

sudo apt install openjdk-11-jdk

Verifique la versión de Java ejecutando el siguiente comando:

$ java -version

java version "1.8.0_251"
Java(TM) SE Runtime Environment (build 1.8.0_251-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.251-b07, mixed mode)

Paso 3. Instalación de Apache Kafka en Ubuntu 20.04.

Ahora descargamos la última versión de Kafka en la página web oficial:

wget https://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz

Luego, quite el alquitrán del archivo comprimido y muévalo a otra ubicación:

sudo tar xzf kafka_2.13-2.6.0.tgz
sudo mv kafka_2.13-2.6.0 /opt/kafka

Paso 4. Cree archivos de unidad Zookeeper y Kafka Systemd.

Cree el systemd archivo de unidad para el servicio de cuidador del zoológico:

sudo nano /etc/systemd/system/zookeeper.service

Agregue las siguientes líneas:

[Unit]
Description=Apache Zookeeper service
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target

[Service]
Type=simple
ExecStart=/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties
ExecStop=/opt/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal

[Install]
WantedBy=multi-user.target

Luego, cree el systemd archivo de unidad para el servicio de Kafka:

sudo nano /etc/systemd/system/kafka.service

Agregue las siguientes líneas:

[Unit]
Description=Apache Kafka Service
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/opt/jdk/jdk1.8.0_251"
ExecStart=/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties
ExecStop=/opt/kafka/bin/kafka-server-stop.sh

[Install]
WantedBy=multi-user.target

Vuelva a cargar el demonio para que surta efecto:

sudo systemctl daemon-reload
sudo systemctl enable --now zookeeper
sudo systemctl enable --now kafka

Paso 5. Crear tema en Kafka.

Ahora crearemos un tema llamado "idroot" con un solo factor de replicación y partición:

cd /opt/kafka
sudo bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-f

Para enviar algunos mensajes para el tema creado:

sudo bin/kafka-console-producer.sh --broker-list localhost:9092 --topic idoot

Se solicita que los mensajes escriban:

> Hi
> How are you?

Usando el siguiente comando podemos ver la lista de mensajes:

sudo bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic idroot --from-beginning

Paso 6. Para conectar Kafka desde máquinas remotas.

Para conectarse, crear un tema y enviar mensajes desde un servidor remoto. Siga los pasos a continuación:

cd /opt/kafka/config

Ahora busque server.properties y hacer algunos cambios de configuración:

sudo nano server.properties

listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://<HOST IP>:9092

¡Felicitaciones! Ha instalado Apache Kafka con éxito. Gracias por usar este tutorial para instalar Apache Kafka en el sistema Ubuntu 20.04 LTS Focal Fossa. Para obtener ayuda adicional o información útil, le recomendamos que consulte el sitio web oficial Sitio web de Apache Kafka.