Cómo instalar Apache Kafka en Ubuntu 18.04 LTS

En este tutorial, le mostraremos cómo instalar Apache Kafka en Ubuntu 18.04 LTS. Para aquellos de ustedes que no lo sabían, Apache Kafka es un agente de mensajes distribuidos diseñado para manejar grandes volúmenes de información en tiempo real de manera efectiva. A diferencia de los agentes tradicionales como ActiveMQ y RabbitMQ, Kafka funciona como un grupo de uno o más servidores que lo hacen altamente escalable y, debido a la naturaleza distribuida, tiene tolerancia a fallas incorporada al tiempo que proporciona un mayor rendimiento en comparación con sus contrapartes.

Este artículo asume que tiene al menos conocimientos básicos de Linux, sabe cómo usar el shell y, lo que es más importante, aloja su sitio en su propio VPS. La instalación es bastante simple y asume que se están ejecutando en la cuenta raíz, si no, es posible que deba agregar 'sudo ' a los comandos para obtener privilegios de root. Le mostraré la instalación paso a paso de Apache Kafka en el servidor Ubuntu 18.04 LTS (Bionic Beaver).

Requisitos previos

• Un servidor que ejecute uno de los siguientes sistemas operativos:Ubuntu 18.04 LTS (Bionic Beaver).
• Se recomienda que utilice una instalación de sistema operativo nueva para evitar posibles problemas.
• Acceso SSH al servidor (o simplemente abra Terminal si está en una computadora de escritorio).
• Un non-root sudo user o acceder al root user . Recomendamos actuar como un non-root sudo user , sin embargo, puede dañar su sistema si no tiene cuidado al actuar como root.

Instalar Apache Kafka en Ubuntu 18.04 LTS Bionic Beaver

Paso 1. Primero, asegúrese de que todos los paquetes de su sistema estén actualizados ejecutando el siguiente apt-get comandos en la terminal.

sudo apt-get update
sudo apt-get upgrade

Paso 2. Instalación de Java.

Apache Kafka requiere que Java esté instalado en su servidor. De manera predeterminada, Java no está disponible en el repositorio de Ubuntu. Agregue Oracle Java PPA a Apt con el siguiente comando:

add-apt-repository ppa:webupd8team/java
apt-get update -y
apt-get install oracle-java8-installer

Verifique la versión de Java ejecutando el siguiente comando:

java -version

Paso 3. Instalación de Zookeeper.

Apache Kafka depende de Zookeeper para la administración de clústeres. Por lo tanto, antes de iniciar Kafka, se debe iniciar Zookeeper:

apt-get install zookeeperd

Una vez completada la instalación, ZooKeeper se iniciará automáticamente como un demonio. De forma predeterminada, escuchará en el puerto 2181:

netstat -ant | grep :2181

Puedes ejecutar el siguiente comando para comprobar si Zookeeper se está ejecutando:

systemctl status zookeeper

Paso 4. Descargue e instale Apache Kafka en Ubuntu 18.04 LTS.

Primero, descargue y extraiga Kafka del sitio web de Apache. Puede usar wget para descargar Kafka:

wget http://www-us.apache.org/dist/kafka/1.1.0/kafka_2.12-1.1.0.tgz

Luego extraiga el archivo comprimido:

tar xzf kafka_2.12-1.1.0.tgz
mv kafka_2.12-1.1.0 /usr/local/kafka

Iniciar servidor Kafka:

cd /usr/local/kafka
bin/zookeeper-server-start.sh config/zookeeper.properties

Ahora inicie el servidor Kafka:

bin/kafka-server-start.sh config/server.properties

...
[2018-06-26 10:59:45,989] INFO Kafka version : 1.0.1 (org.apache.kafka.common.utils.AppInfoParser)
[2018-06-26 10:59:45,995] INFO Kafka commitId : c0518aa65f25317e (org.apache.kafka.common.utils.AppInfoParser)
[2018-06-26 10:59:46,006] INFO [KafkaServer id=0] started (kafka.server.KafkaServer)

Paso 5. Crea un tema en Kafka.

Creemos un tema llamado "NewTopic" con una sola partición y una sola réplica:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic NewTopic
Created topic "NewTopic".

Ahora puede ver el tema creado en Kafka ejecutando el comando list topic:

bin/kafka-topics.sh --list --zookeeper localhost:2181
NewTopic

Paso 6. Enviar mensajes a Kafka.

El "productor" es el proceso responsable de poner datos en nuestro Kafka. Kafka viene con un cliente de línea de comandos que tomará la entrada de un archivo o de un estándar ingrese y envíelo como mensajes al clúster de Kafka:

Ejecutemos el productor y luego escribamos algunos mensajes en la consola para enviarlos al servidor:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic NewTopic

>Welcome to kafka
>This is my new topic
>

Paso 7. Uso de Kafka Consumer.

Kafka también tiene un consumidor de línea de comandos para leer datos del clúster de Kafka y mostrar mensajes en la salida estándar:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic NewTopic --from-beginning

Welcome to kafka
This is my new topic

¡Felicitaciones! Ha instalado Apache Kafka con éxito. Gracias por usar este tutorial para instalar Apache Kafka en el sistema Ubuntu 18.04 LTS (Bionic Beaver). Para obtener ayuda adicional o información útil, le recomendamos que consulte el sitio web oficial de Apache Kafka.