バッチ処理は、一定量のデータや依頼をまとめ、決めたタイミングで一括実行する処理方式です。個別の要求に即時応答するオンライン処理とは違い、処理開始はスケジュールやトリガーで管理します。夜間の集計や定期レポート生成、データ取り込みなどで多用される考え方でしょう。
データ基盤では、ETL/ELTの取り込み・変換・集計を日次や時間単位で回し、下流のデータマートやBI更新を安定させます。処理単位を大きくできる反面、遅延が発生しやすく、締め時間やSLAに合わせた実行窓の設計が欠かせません。再実行時に二重計上しないよう、冪等性、チェックポイント、途中失敗時のロールバック方針も決めておくべきです。
運用で問題になりやすいのは、前後ジョブの依存関係が増えて全体が遅れ、どこで詰まったか追えなくなる点です。実行ログとメトリクスの監視、リトライ条件、手動介入の手順まで含めて定義すると、バッチ処理が止まったときの復旧が早くなります。
