Kafkaは、イベントやメッセージを高スループットで受け渡すための分散ストリーミング基盤です。Producerがトピックへ書き込み、Consumerが購読する形で、システム間を疎結合に連携できます。トピックはパーティションに分割され、順序性や並列性を設計でコントロールする仕組みです。
運用では、Consumerがどこまで処理したかをオフセットで管理し、過去のイベントを再生して再処理できる点が強みになります。反面、キー設計を誤るとホットパーティションが生まれやすく、遅延や滞留が顕在化しやすいです。データ基盤として扱うなら、スキーマの互換性、権限管理、監査ログ、リテンション設定まで含めた変更管理が欠かせません。
