Kafkaのアーキテクチャのクラウドネイティブ化：階層ストレージからディスクレスの未来へ
トップ3ソースの視点とTSO検証結果
共通認識的事実：Kafkaの進化のトレンドは、従来の「共有ステートレス」設計から、クラウド環境の運用と経済モデルの変化に適応するための高度に疎結合なアーキテクチャへと移行している。
主な相違点：ストレージのトレードオフに関して、初期はローカルブロックストレージに重点が置かれていたが、現在のトレンドは、KIP-405によって導入された、データ層を低遅延のローカル層と大容量の遠隔（例：S3）ストレージに分割する階層ストレージソリューションの利用である。
TSO検証結果：3つのソースは一致して、Kafkaの未来は「経済OS」の概念にあると確認しており、プラットフォームチームはメトリクス駆動型のコスト配分パイプラインを構築し、ストレージとリバランスに伴う運用オーバーヘッドを管理する必要がある。
共通認識的事実
Kafkaの進化は、クラウド環境がもたらす財務的現実への対応である。従来、Kafkaは低遅延を実現するためにハードウェアの最適化された「共有ステートレス」設計に依存していた。しかし、クラウド環境への移行後、ストレージコスト（クロスアベイラビリティゾーン間のデータ転送費用や高価なブロックストレージなど）が非常に高くなるため、Kafkaはハードウェアに依存するシステムから、厳格な財務管理下にある「経済OS」へと進化する必要がある。
主な相違点
記事では、ストレージアーキテクチャに関して、アーキテクトは遅延感とコストのトレードオフを考慮する必要があると指摘している。KIP-405の導入により、データがローカルブロックストレージ層とリモートオブジェクトストレージ層に保持されるようになり、プラットフォームチームはデータ保持期間と読み取りパターンに基づいて階層ストレージを有効にするかどうかを決定する必要がある。さらに、マルチテナントの分離問題も課題となっており、従来は専用クラスターを選択するか弱い分離を受け入れる必要があったが、「仮想クラスター」は分離性とインフラの重複回避を両立する中間的な道を提供する。
背景と分析
Kafkaアーキテクチャの転換は、単なる技術的なアップグレードではなく、経済モデルの再構築である。ストレージコストの移転は、プラットフォームチームがインフラの「調達」コストから「クラウドAPI利用」コストの監視へと焦点を移す必要があることを意味する。これは、プラットフォームチームがクライアントレベルの可視性を持ち、単一のリプレイジョブの潜在的な巨額請求を特定できるようにすることを要求する。
3つのソースの要約
ストレージ階層化：KIP-405はストレージを疎結合にし、ローカルブロックストレージを利用して低遅延を実現し、オブジェクトストレージ（S3など）を利用して大容量を実現する。これにはデータ保持期間と読み取りパターンに基づいてトレードオフを行う必要がある。
リバランスプロトコル：次世代のリバランスプロトコルの改善により、動的なコンシューマー拡張による運用の中断が大幅に削減され、Kubernetesネイティブな自動スケーリングにより適したようになった。
マルチテナント分離：「仮想クラスター」モデルを通じて、厳格なテナント境界を実現し、各チームごとに独立したクラスターを維持する巨大なコストを回避できる。