Cómo instalar Apache Airflow en Ubuntu 20.04

En este tutorial, le mostraremos cómo instalar Apache Airflow en Ubuntu 20.04 LTS. Para aquellos de ustedes que no lo sabían, Airflow es una de las soluciones de gestión de flujo de trabajo más populares. crea, programa y supervisa los flujos de trabajo. Airflow está escrito en Python, y los flujos de trabajo se crean a través de scripts de Python. Airflow está diseñado bajo el principio de "configuración como código".

Este artículo asume que tiene al menos conocimientos básicos de Linux, sabe cómo usar el shell y, lo que es más importante, aloja su sitio en su propio VPS. La instalación es bastante simple y asume que se están ejecutando en la cuenta raíz, si no, es posible que deba agregar 'sudo ' a los comandos para obtener privilegios de root. Le mostraré la instalación paso a paso de la herramienta de gestión de flujos de trabajo Apache Airflow en Ubuntu 20.04 (Focal Fossa). Puede seguir las mismas instrucciones para Ubuntu 18.04, 16.04 y cualquier otra distribución basada en Debian como Linux Mint.

Requisitos previos

• Un servidor que ejecuta uno de los siguientes sistemas operativos:Ubuntu 20.04, 18.04, 16.04 y cualquier otra distribución basada en Debian como Linux Mint.
• Se recomienda que utilice una instalación de sistema operativo nueva para evitar posibles problemas.
• Acceso SSH al servidor (o simplemente abra Terminal si está en una computadora de escritorio).
• Un non-root sudo user o acceder al root user . Recomendamos actuar como un non-root sudo user , sin embargo, puede dañar su sistema si no tiene cuidado al actuar como root.

Instalar Apache Airflow en Ubuntu 20.04 LTS Focal Fossa

Paso 1. Primero, asegúrese de que todos los paquetes de su sistema estén actualizados ejecutando el siguiente apt comandos en la terminal.

sudo apt update
sudo apt upgrade

Paso 2. Instalación de la base de datos MySQL.

Se requiere un servidor MySQL. Si no tiene MySQL instalado, puede seguir nuestra guía aquí.

Paso 3. Instalación de Pip.

Ejecute el siguiente comando para instalar Pip en su sistema:

sudo apt-get install software-properties-common
sudo apt-add-repository universe
sudo apt-get update
sudo apt-get install python-setuptools
sudo apt install python3-pip

Paso 4. Instalación de Apache Airflow en Ubuntu 20.04.

Antes de instalar Apache Airflow, deberá ejecutar los siguientes comandos para asegurarse de que estén instaladas las dependencias necesarias:

sudo apt-get install libmysqlclient-dev
sudo apt-get install libssl-dev
sudo apt-get install libkrb5-dev

Una vez hecho esto, ahora instale Apache Airflow usando el siguiente comando a continuación:

sudo apt install python3-virtualenv
virtualenv airflow_idroot
cd airflow_idroot/
source activate
export AIRFLOW_HOME=~/airflow
install apache-airflow
pip3 install typing_extensions
airflow db init
airflow webserver -p 8080

Paso 5. Acceso a la interfaz web de Apache Airflow.

Una vez instalado correctamente, abra un navegador web y escriba la URL:https://localhost:8080 . Debería ver la siguiente página:

¡Felicitaciones! Ha instalado Apache Airflow correctamente. Gracias por usar este tutorial para instalar la herramienta de administración de flujos de trabajo de Apache Airflow en el sistema Ubuntu 20.04 LTS Focal Fossa. Para obtener ayuda adicional o información útil, le recomendamos consulte el sitio web oficial de Apache Airflow.