このガイドでは、Ubuntu20.04にApacheAirflowをインストールする方法を説明します
Apacheエアフロー は、データエンジニアリングパイプライン用のオープンソースワークフロー管理プラットフォームです。 2014年10月にAirbnbで開始され、会社のincreApache Airflowを管理するソリューションは、データエンジニアリングパイプライン用のオープンソースワークフロー管理プラットフォームです。
Apache Airflowは、タスクのスケジューリングと優先順位付けを管理するために使用される、オープンソースの自動化されたワークフローオーケストレーションプラットフォームです。このインターフェースはPythonベースのシステムを使用して、ユーザーがタスクと依存関係を入力できるようにします。その後、Airflowを使用して、ワークロードの分散と実行を監視できます。
そこで、2014年10月にAirbnbで、ますます複雑化する会社のワークフローを管理するソリューションとして開始しました。 Airflowを作成することで、Airbnbはプログラムでワークフローを作成およびスケジュールし、組み込みのAirflowユーザーインターフェイスを介して監視することができました。非常に複雑なワークフローです。 Airflowを作成することで、Airbnbはプログラムでワークフローを作成およびスケジュールし、組み込みのAirflowユーザーインターフェイスを介してワークフローを監視できるようになりました。
ApacheAirflowをインストールする
Apache Airflowの使用を開始するには、以下の手順に従ってください
- 次のコマンドを実行して、すべてのシステムパッケージが最新であることを確認してください。
sudo apt update -y && sudo apt upgrade -y- ApacheAirflowにはMySQLサーバーが必要です。SQLiteは使用しないでください 本番環境のメタデータDBとして– dev/testingにのみ使用する必要があります。 PostgresqlまたはMySQLの使用をお勧めします。 ここをクリック 詳細については。
- 次のステップは、 pipをインストールすることです 次のコマンドを使用します。
sudo apt-get install software-properties-common -y
sudo apt-add-repository universe
sudo apt-get update -y
sudo apt-get install python3-pip python-setuptools -y
- 以下のコマンドを実行して、ApacheAirflowに必要な依存関係がインストールされていることを確認してください。
sudo apt-get install -y libmysqlclient-dev libssl-dev libkrb5-dev python3-virtualenv python-jinja2- Airflowには、すべての設定と構成を保存するホームディレクトリが必要です。そのため、これを行うには、次のコマンドを実行します。
export AIRFLOW_HOME=~/airflow- Apacheをインストール 気流 次のコマンドを実行します。
virtualenv airflow_unixcop
cd airflow_unixcop/
pip3 install apache-airflow
pip3 install typing_extensions
- 次に、システムを再起動します。
reboot- バージョンを確認して、ApacheAirflowが正常にインストールされたことを確認します
airflow version
- 次のステップは、ApacheAirflowデータベースを初期化してアップグレードすることです。
airflow initdb
airflow db upgrade
- 以下のコマンドを実行して、apacheairflowサーバーを起動します
airflow webserver -p 8080
- また、apacheairflowユーザーを作成することもできます。
注 ：Pythonホイールを使用しているだけの場合、デフォルトのユーザー名とパスワードは作成されません。
次を実行してユーザーを作成します：
airflow users create --role Admin --username admin --email admin --firstname admin 
- Apache Airflowが実行されていることを確認するには、Webブラウザーを開き、 localhost：8080に移動します。 。作成したユーザーでログインすると、以下のウィンドウにリダイレクトされます
結論
それでおしまい、
Ubuntu20.04にApacheAirflowをインストールするためのこのガイド
ありがとう