Airflow(Apache Airflow)は、データ連携や集計などの処理手順をDAG(有向非巡回グラフ)として定義し、スケジュール実行と監視を行うワークフロー基盤です。ETL/ELT、機械学習の学習・推論、データ品質チェック、レポート配信など、ジョブをまたぐ処理の順序と依存関係を管理する場面で使われます。コード(主にPython)でパイプラインを定義できるため、Git管理とレビューを前提に運用しやすい点が特徴です。
構成要素としては、DAGを解釈して実行を司るスケジューラ、タスクを実行するワーカー(Executorの方式で動きが変わる)、状態を保持するメタデータDB、操作と可視化を行うWeb UIが中心になります。タスクはOperatorで表現し、外部システム(DB、DWH、API、キュー)との連携を部品化して組み立てる設計が基本です。過去分の再実行(バックフィル)やリトライ、SLA監視を組み込めるので、バッチ処理の運用品質を上げたいときに効いてきます。
実務で重要なのは、タスクを冪等に設計し、リトライや再実行で二重計上や重複更新が起きない状態を作ることです。依存関係が増えるほど「どこで失敗したか」を追えるログ設計と、アラートの基準(遅延、失敗率、欠損検知)を先に固めたほうが安定します。デプロイと権限管理も運用負荷に直結するため、接続情報の秘匿(Secrets管理)やRBAC、DAGのテストと変更管理まで含めて標準化しておくと破綻しにくいでしょう。

