Airflow安装部署

本次安装在CentOS操作系统下完成。

1. 检查python版本

python -V#airflow需要python2.7以上的版本，安装前请检查

2. 安装相关依赖

使用root用户进行如下操作：

yum groupinstall "Development tools"yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel python-devel wget cyrus-sasl-devel.x86_64

3. 安装pip

cd /tmp/wget https://bootstrap.pypa.io/ez_setup.pypython ez_setup.pyunzip setuptools-X.X.zipcd setuptools-X.X

4. 安装Airflow

使用root用户进行如下操作：

pip install airflow==1.8.0pip install airflow[hive]==1.8.0pip install airflow[celery]==1.8.0

5. 安装Rabbitmq

6.安装Mysql依赖

yum install -y mysql-devel python-devel python-setuptoolspip install MySQL-python

7. Airflow相关配置

1) 新建airflow用户并设置密码

  useradd -m airflow -s /bin/bash  passwd airflow

2) 配置环境变量

vi /etc/profile，在末尾添加上

export AIRFLOW_HOME=/home/airflowPATH=$PATH:$AIRFLOW_HOMEexport PATH

source /etc/profile

3) 使用airflow用户执行如下操作：

初始化airflow

airflow initdb#第一次执行该命令时，在/home/airflow目录下生产airflow的相关配置文件。

4) 修改airflow配置文件

vi /home/airflow/airflow.cfg

配置Execotr：

executor = CeleryExecutor

配置元数据库

sql_alchemy_conn = mysql://{USERNAME}:{PASSWORD}@{MYSQL_HOST}:3306/airflow

配置Broker URL

broker_url = amqp://guest:guest@{RABBITMQ_HOST}:5672/

配置Celery元数据库

celery_result_backend = db+mysql://{USERNAME}:{PASSWORD}@{MYSQL_HOST}:3306/airflow

8. 初始化Mysql

1) 新建airflow数据库

CREATE DATABASE airflow CHARACTER SET utf8 COLLATE utf8_unicode_ci;

2) 创建airflow用户

grant all on airflow.* TO 'airflow'@'%' IDENTIFIED BY 'airflow';

9. 初始化airflow

airflow initdb#airflow默认使用sqlite作为元数据库，上面的配置将其改为mysql。本次初始化会在mysql中的airflow数据裤生产相关的表。

10. 启动airflow

1) 新建dags目录

mkdir dags

2) 将调度任务放入dags目录下，然后依次启动

airflow webserverairflow schedulerairflow worker

11. 访问airflow web

http://ip:8080

12. 访问flower web

http://ip:5555#flower位celery的监控