Arquitetura Kafka Nativa em Nuvem: Da Armazenamento em Camadas ao Futuro Sem Disco
Visão de Três Fontes e Conclusão da Verificação TSO
Fato Confirmado em Comum: A tendência de evolução do Kafka é de um design tradicional "compartilhado e sem estado" para uma arquitetura altamente desacoplada, adaptada às mudanças na operação e no modelo econômico do ambiente de nuvem.
Principais Divergências ou Diferenças: Quanto à ponderação do armazenamento, o foco inicial estava no armazenamento em bloco local, enquanto a tendência atual é utilizar a armazenamento em camadas, introduzido pelo KIP-405, que divide a camada de dados em uma camada local de baixa latência e um armazenamento remoto de alta capacidade (como S3).
Conclusão da Verificação TSO: As três fontes confirmam que o futuro do Kafka reside no conceito de "sistema operacional econômico", exigindo que as equipes de plataforma estabeleçam um pipeline de rateio de custos orientado por telemetria e gerenciem os custos operacionais associados ao armazenamento e rebalanceamento.
Fato Confirmado em Comum
A evolução do Kafka é uma resposta à realidade financeira do ambiente de nuvem. Tradicionalmente, o Kafka dependia de um design "compartilhado e sem estado" que otimizava o hardware para alcançar baixa latência. No entanto, ao migrar para o ambiente de nuvem, os custos de armazenamento (como taxas de transferência de dados entre zonas de disponibilidade e o armazenamento em bloco caro) tornam-se muito elevados, transformando o Kafka de um sistema vinculado ao hardware em um "sistema operacional econômico" sob rigoroso controle financeiro.
Principais Divergências ou Diferenças
O artigo aponta que, em termos de arquitetura de armazenamento, os arquitetos precisam ponderar a sensibilidade à latência e o custo. A introdução do KIP-405 divide os dados em uma camada de armazenamento em bloco local e uma camada de armazenamento de objetos remoto, o que exige que as equipes de plataforma decidam se habilitam o armazenamento em camadas com base no ciclo de retenção dos dados e nos padrões de leitura. Além disso, a questão do isolamento multi-inquilino também apresenta desafios; tradicionalmente, era necessário escolher um cluster dedicado ou aceitar um isolamento fraco, enquanto os "clusters virtuais" oferecem um caminho intermediário que equilibra isolamento e evita a duplicação de infraestrutura.
Contexto e Análise
A mudança na arquitetura do Kafka não é apenas uma atualização tecnológica, mas uma remodelação do modelo econômico. A transferência dos custos de armazenamento significa que as equipes de plataforma precisam monitorar os custos de "uso de API em nuvem" em vez dos custos de "compra de infraestrutura". Isso exige que as equipes de plataforma tenham visibilidade em nível de cliente para atribuir custos potencialmente enormes a cada operação de replay individual.
Resumo das Visões das Três Fontes
Armazenamento em Camadas: O KIP-405 desacopla o armazenamento, utilizando armazenamento em bloco local para baixa latência e armazenamento de objetos (como S3) para alta capacidade, exigindo ponderação com base no tempo de retenção dos dados e nos padrões de leitura.
Protocolo de Rebalanceamento: A melhoria no protocolo de rebalanceamento de próxima geração reduz significativamente as interrupções operacionais causadas pela expansão dinâmica de consumidores, tornando-o mais adequado para a expansão automática nativa do Kubernetes.
Isolamento Multi-inquilino: Através do modelo de "cluster virtual", é possível alcançar limites estritos de inquilino, evitando o enorme custo de manter um cluster independente para cada equipe.