架构云原生Kafka：从分层存储到无磁盘未来的演进
顶部三源观点与 TSO 校验结论
共同确认事实：Kafka的演进趋势是从传统的“共享无状态”设计转向高度解耦的架构，以适应云环境的运营和经济模型变化。
主要分歧或差异点：关于存储的权衡，早期侧重于本地块存储，而当前趋势是利用KIP-405引入的、将数据层分为低延迟本地层和高容量远程（如S3）存储的分层存储方案。
TSO 校验结论：三源共同确认，Kafka的未来在于“经济操作系统”理念，要求平台团队必须建立遥测驱动的成本分摊管道，并管理存储和重平衡带来的运营开销。
共同确认事实
Kafka的演进是应对云环境带来的财务现实。传统上，Kafka依赖于优化硬件的“共享无状态”设计，以实现低延迟。然而，迁移到云环境后，存储成本（如跨可用区的数据传输费用和昂贵的块存储）变得非常高昂，这使得Kafka必须从硬件绑定系统演变为一个受严格财务控制的“经济操作系统”。
主要分歧或差异点
文章指出，在存储架构上，架构师需要权衡延迟敏感度和成本。KIP-405的引入，将数据保留分为本地块存储层和远程对象存储层，这要求平台团队根据数据保留周期和读取模式来决定是否启用分层存储。此外，多租户的隔离问题也提出了挑战，传统上需要选择专用集群或接受弱隔离，而“虚拟集群”提供了一种兼顾隔离性和避免基础设施重复的中间路径。
背景与分析
Kafka架构的转变不仅是技术升级，更是经济模型的重塑。存储成本的转移，意味着平台团队需要从基础设施的“采购”成本转向对“云API使用”成本的监控。这要求平台团队具备客户端级别的可见性，以便对单个重放作业的潜在巨额账单进行归因。
三源观点摘要
存储分层：KIP-405将存储解耦，利用本地块存储实现低延迟，利用对象存储（如S3）实现高容量，需要基于数据保留时间和读取模式做出权衡。
重平衡协议：下一代重平衡协议的改进显著降低了动态消费者扩展带来的操作中断，使其更适合Kubernetes原生自动扩展。
多租户隔离：通过“虚拟集群”模式，可以实现严格的租户边界，避免了为每个团队维护一个独立集群的巨大成本。