一、核心概念 Log Compaction（日志压缩）是 Kafka 提供的一种基于 key 的消息保留策略。它的核心保证是：对于同一个 partition 内的相同 key，Kafka 至少保留最新的一条消息，而旧版本的消息会被清理掉。 这与传统的按时间或大小删除（delete 策略）是完全不同的思路： 二、为什么需 […]
在 Kafka 消费者集群运维中，你是否遇到过这些棘手问题？ 生产环境突然告警，Topic 消息积压量10分钟内飙升至50万条，下游服务断流； 支付回调消息重复处理，导致用户被重复扣款； 订单状态更新消息莫名丢失，部分用户订单一直卡在“待支付”状态。 多数时候，这些问题的根源并非消费者代码bug或Kafka集群故障，而 […]
Kafka 抛弃 Zookeeper（引入 KRaft 模式）是为了解决长期依赖 Zookeeper 带来的性能瓶颈、架构复杂度、可扩展性限制等核心问题。这一变革并非否定 Zookeeper 的价值，而是 Kafka 作为高吞吐消息系统，在规模和性能需求爆发式增长后，对自身架构的一次“去耦合”与“性能重构”。 一、Zo […]
Redis不需要Leader这个观点其实有歧义，是不准确的，题目的问题本质其实是涉及数据分片、数据复制一致性。 1、Redis Cluster 架构 在Redis3.0版本开始，Redis引入了一种去中心化的集群架构，采用预分片的模式，一个集群中所有节点总共对应16384个槽位，在对一个key进行写入时，首先对key取 […]
1 什么是kafka Kafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式，可划分的，冗余备份的持久性的日志服务，它主要用于处理流式数据。 2 为什么要使用 kafka，为什么要使用消息队列 缓冲和削峰：上游数据时有突发流量，下游可能扛不住 […]
