Apache Kafka es un potente motor de mensajería, ampliamente utilizado en BigData proyectos y el Análisis de Datos ciclo vital. Es una plataforma de código abierto para construir canalizaciones de transmisión de datos en tiempo real. Es una plataforma distribuida de publicación y suscripción con confiabilidad, escalabilidad y durabilidad.
Podemos tener Kafka como independiente o como un clúster. Kafka almacena los datos de transmisión y se pueden categorizar como Temas . El Tema tendrá varias particiones para que pueda manejar una cantidad arbitraria de datos. Además, podemos tener múltiples réplicas para tolerancia a fallas como las que tenemos en HDFS . En un clúster de Kafka, el intermediario es un componente que almacena los datos publicados.
Zookeeper es un servicio obligatorio para ejecutar un Kafka clúster, ya que se utiliza para gestionar la coordinación de los agentes de Kafka. Zookeeper juega un papel clave entre el productor y el consumidor, donde es responsable de mantener el estado de todos los corredores.
En este artículo explicaremos cómo instalar Apache Kafka en un solo nodo CentOS 7 o RHEL 7 .
Instalación de Apache Kafka en CentOS 7
# yum -y install java-1.8.0-openjdk # java -version
# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz # tar -xzf kafka_2.13-2.7.0.tgz
.bash_profile
y luego inicialícelo como se muestra.
# ln -s kafka_2.13-2.7.0 kafka # echo "export PATH=$PATH:/root/kafka_2.13-2.7.0/bin" >> ~/.bash_profile # source ~/.bash_profile
# zookeeper-server-start.sh -daemon /root/kafka/config/zookeeper.properties
# telnet localhost 9092
# kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic tecmint
# kafka-topics.sh --zookeeper localhost:2181 --list
Conclusión
En este artículo, hemos visto cómo instalar un clúster de Kafka de un solo nodo en CentOS 7 . Veremos cómo instalar un Kafka Cluster multinodo en el próximo artículo.