Ubuntu 20.04 es un sistema operativo robusto que es la base para implementar muchas infraestructuras complejas, como la transmisión fluida y el procesamiento rápido y eficiente de flujos de datos. Hoy aprenderá cómo implementar uno porque en esta publicación aprenderá cómo instalar Apache Kafka en Ubuntu 20.04.
El software Apache Kafka es una aplicación multiplataforma de código abierto desarrollada por Apache Software Foundation y especializada en el procesamiento de transmisiones. Le permite publicar, almacenar, procesar y suscribirse a flujos de registro en tiempo real. Está diseñado para manejar flujos de datos de varias fuentes y distribuirlos a varios usuarios.
Apache Kafka es la alternativa a un sistema de mensajería empresarial tradicional. Empezó como un sistema interno que LinkedIn desarrolló para gestionar 1400 millones de mensajes al día.
Esta plataforma ha comenzado a ganar popularidad gracias a que grandes empresas como Netflix y Microsoft la utilizan en sus arquitecturas. Kafka está escrito en Java y Scala, por lo que debe estar presente en el sistema para ejecutarse.
Instalar Apache Kafka en Ubuntu 20.04
Apache Kafka está construido con Java, por lo que debemos instalarlo antes de continuar con cualquier paso.
Entonces, abra una terminal o conéctese a su servidor a través de SSH y actualice Ubuntu
sudo apt update sudo apt upgrade
Ahora instale Java en Ubuntu.
sudo apt install default-jdk default-jre
El siguiente paso es agregar un nuevo usuario al sistema para que Kafka pueda ser administrado por él.
sudo adduser kafka
El usuario que creaste debe agregarse a sudo grupo para que tenga permisos suficientes para ejecutar el programa.
sudo adduser kafka sudo
Ahora que el kafka el usuario está creado y listo, puede iniciar sesión usando el su comando
su -l kafka
Descargando e instalando Apache Kafka
Cree una nueva carpeta para descargar el programa. Lo llamaré kafka pero puedes elegir otro nombre.
mkdir kafka
Ahora acceda a él y desde allí con la ayuda de wget comando, puede descargar la última versión estable del programa.
cd kafka wget https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz
Salida de muestra:
--2021-04-15 23:13:07-- https://downloads.apache.org/kafka/2.7.0/kafka_2.13-2.7.0.tgz Resolving downloads.apache.org (downloads.apache.org)... 2a01:4f8:10a:201a::2, 88.99.95.219 Connecting to downloads.apache.org (downloads.apache.org)|2a01:4f8:10a:201a::2|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 68583422 (65M) [application/x-gzip] Saving to: ‘kafka_2.13-2.7.0.tgz’ kafka_2.13-2.7.0.tgz 100%[=====================================================================================>] 65.41M 3.08MB/s in 20s 2021-04-15 23:13:27 (3.21 MB/s) - ‘kafka_2.13-2.7.0.tgz’ saved [68583422/68583422]
Después de eso, descomprímalo usando el comando tar .
tar -xvzf kafka_2.13-2.7.0.tgz --strip 1
Ahora tenemos el binario correctamente en el sistema. Así que tendremos que hacer alguna configuración antes de poder usarlo.
Configurar Apache Kafka antes de usarlo
De forma predeterminada, Apache Kafka no le permitirá eliminar un tema. En este caos, un tema puede ser una categoría, un grupo o un nombre de fuente que se puede publicar en un mensaje. Así que es una buena idea cambiar esto.
Para hacer esto, abra el server.properties archivo dentro de config carpeta
nano config/server.properties
Y busque el delete.topic.enable directiva y configúrelo en true .
delete.topic.enable = true
En este mismo archivo, puede cambiar la carpeta donde Apache Kafka guarda los registros que se generan.
log.dirs=/home/kafka/logs
En este caso, la carpeta de registros debe estar en el mismo directorio que el directorio de inicio.
Otra configuración que tenemos que hacer es crear un servicio para administrar Kafka como si fuera un servicio del sistema. Esto hará que sea más fácil iniciarlo, detenerlo y verificar su estado.
Sin embargo, tenemos que empezar con Zookeeper que es un servicio con el que Kafka administra las configuraciones y el estado del clúster.
Para hacer esto, cree un nuevo archivo para Zookeeper en el directorio donde están alojados los servicios.
sudo nano /etc/systemd/system/zookeeper.service
Y agrega lo siguiente
[Unit] Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple User=kafka ExecStart=/home/kafka/kafka/bin/zookeeper-server-start.sh /home/kafka/kafka/config/zookeeper.properties ExecStop=/home/kafka/kafka/bin/zookeeper-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
Guarde los cambios y cierre el editor.
Ahora haz lo mismo con kafka.
sudo nano /etc/systemd/system/kafka.service
Y agrega lo siguiente:
[Unit] Requires=zookeeper.service After=zookeeper.service [Service] Type=simple User=kafka ExecStart=/bin/sh -c '/home/kafka/kafka/bin/kafka-server-start.sh /home/kafka/kafka/config/server.properties > /home/kafka/kafka/kafka.log 2>&1' ExecStop=/home/kafka/kafka/bin/kafka-server-stop.sh Restart=on-abnormal [Install] WantedBy=multi-user.target
De nuevo, guarde los cambios y cierre el editor.
Para aplicar los cambios, simplemente actualice la lista de demonios del sistema.
sudo systemctl daemon-reload
E inicie los servicios Kafka y Zookeeper.
sudo systemctl start kafka sudo systemctl enable kafka sudo systemctl enable zookeeper sudo systemctl start zookeeper
Esto completará la instalación.
Conclusión
Apache Kafka es una solución profesional de código abierto para grandes empresas que necesitan una transmisión de datos efectiva. Ser de código abierto nos da una referencia de lo poderoso y manejable que es.
Entonces, comparte esta publicación y déjanos un comentario.
Sitio web de Kafka