En este tutorial, le mostraremos cómo instalar Apache Kafka en Ubuntu 16.04 LTS. Para aquellos de ustedes que no lo sabían, Apache Kafka es un agente de mensajes distribuidos diseñado para manejar grandes volúmenes de información en tiempo real de manera efectiva. A diferencia de los agentes tradicionales como ActiveMQ y RabbitMQ, Kafka funciona como un grupo de uno o más servidores que lo hacen altamente escalable y, debido a la naturaleza distribuida, tiene tolerancia a fallas incorporada al tiempo que proporciona un mayor rendimiento en comparación con sus contrapartes.
Este artículo asume que tiene al menos conocimientos básicos de Linux, sabe cómo usar el shell y, lo que es más importante, aloja su sitio en su propio VPS. La instalación es bastante simple y asume que se están ejecutando en la cuenta raíz, si no, es posible que deba agregar 'sudo ' a los comandos para obtener privilegios de root. Le mostraré la instalación paso a paso de Apache Kafka en un servidor Ubuntu 16.04 Xenial Xerus.
Instalar Apache Kafka en Ubuntu 16.04 LTS
Paso 1. Primero, asegúrese de que todos los paquetes de su sistema estén actualizados ejecutando el siguiente apt-get comandos en la terminal.
sudo apt-get update sudo apt-get upgrade
Paso 2. Instalación de Java.
Kafka está escrito en Java, deberá instalar Java en su sistema:
add-apt-repository -y ppa:webupd8team/java
Una vez que haya terminado, ejecute el siguiente comando para instalar Java:
apt-get update apt-get install oracle-java8-installer
Paso 3. Instalación de Zookeeper.
Apache Kafka depende de Zookeeper para la administración de clústeres. Por lo tanto, antes de iniciar Kafka, se debe iniciar Zookeeper:
apt-get install zookeeperd
Después de que se complete la instalación, ZooKeeper se iniciará como un demonio automáticamente. De manera predeterminada, escuchará en el puerto 2181:
netstat -ant | grep :2181
Paso 4. Instalación del servidor Kafka.
Primero, descargue y extraiga Kafka del sitio web de Apache. Puede usar wget para descargar Kafka:
mkdir /opt/Kafka cd /opt/Kafka wget http://ftp.jaist.ac.jp/pub/apache/kafka/0.10.0.0/kafka_2.11-0.10.0.0.tgz
Extraiga el archivo descargado usando el comando tar en /opt/Kafka :
tar -xvf kafka_2.11-0.10.0.0.tgz -C /opt/Kafka/
Configurar servidor Kafka:
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-server-start.sh /opt/Kafka/kafka_2.11-0.10.0.0/config/server.properties
Puedes usar nohup con un script para iniciar el servidor Kafka como un proceso en segundo plano:
sudo nohup /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-server-start.sh /opt/Kafka/kafka_2.11-0.10.0.0/config/server.properties /tmp/kafka.log 2>&1 &
Ahora, es momento de verificar que el servidor Kafka esté funcionando correctamente:
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testing
Debería ver el siguiente resultado:
Created topic "testing".
Ahora, pídale a Zookeeper que enumere los temas disponibles en Apache Kafka:
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-topics.sh --list --zookeeper localhost:2181
Debería ver el siguiente resultado:
testing
A continuación, publique mensajes de muestra en el tema de Apache Kafka llamado testing mediante el siguiente comando de productor:
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testing
Finalmente, use el comando del consumidor para buscar mensajes en el tema de Apache Kafka llamado prueba ejecutando el siguiente comando:
sudo /opt/Kafka/kafka_2.11-0.10.0.0/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic testing --from-beginning
Debería ver el siguiente resultado:
Hi how are you? Where are you?
Bueno, ha verificado con éxito que tiene una configuración válida de Apache Kafka con Apache Zookeeper.
¡Felicitaciones! Ha instalado Apache Kafka con éxito. Gracias por usar este tutorial para instalar Apache Kafka en su sistema Ubuntu 16.04. Para obtener ayuda adicional o información útil, le recomendamos que consulte el Apache Kafka oficial sitio web.