Geconfronteerd met een probleem tijdens het configureren van MySql met apache-luchtstroom in Hadoop

Volg deze stappen om Apache Airflow met MySQL te installeren met behulp van Anaconda3

1) Installatievereisten

yum install gcc gcc-c++ -y
yum install libffi-devel mariadb-devel cyrus-sasl-devel -y
dnf install redhat-rpm-config

2) Installeer Anaconda3 (wordt geleverd met Python 3.7.6)

yum install libXcomposite libXcursor libXi libXtst libXrandr alsa-lib mesa-libEGL libXdamage mesa-libGL libXScrnSaver
wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh
chmod +x Anaconda3-2020.02-Linux-x86_64.sh 
./Anaconda3-2020.02-Linux-x86_64.sh

Zorg ervoor dat u conda initialize wanneer daarom wordt gevraagd tijdens de installatie. Dit zorgt ervoor dat de juiste versie van python en pip in de volgende stappen worden gebruikt.

3) Apache Airflow installeren

pip install apache-airflow[mysql,celery]

U kunt desgewenst andere subpakketten toevoegen. Ik heb alleen degene toegevoegd die Airflow nodig heeft om de MySQL-database als backend te gebruiken.

4) Luchtstroom initialiseren

export AIRFLOW_HOME=~/airflow
airflow initdb

Vanaf hier heb ik de stappen nagebootst die u hebt gevolgd om MySQL Server te configureren

5) MySQL-server installeren

rpm -Uvh https://repo.mysql.com/mysql80-community-release-el7-3.noarch.rpm 
sed -i 's/enabled=1/enabled=0/' /etc/yum.repos.d/mysql-community.repo 
yum --enablerepo=mysql80-community install mysql-server 
systemctl start mysqld.service

6) Log in op MySQL en configureer de database voor Airflow

mysql> CREATE DATABASE airflow CHARACTER SET utf8 COLLATE utf8_unicode_ci; 
mysql> CREATE user 'airflow'@'localhost' identified by 'Airflow123'; 
mysql> GRANT ALL privileges on *.* to 'airflow'@'localhost'; 

7) Update Airflow-configuratiebestand (~/airflow/airflow.cfg)

sql_alchemy_conn = mysql://airflow:[email protected]:3306/airflow
executor = CeleryExecutor

8) Luchtstroom initialiseren

airflow initdb