Kafka 重复消费这事,我最后还是接受了至少一次
先说结论:我们最后放弃了「精确一次」,选择了「至少一次 + 下游幂等」。 这个过程大概花了一个月,走了不少弯路,记一下。
一开始为什么想精确一次
场景是订单事件流。上游发订单状态变更,下游有两个消费者:一个写数据仓库,一个发通知给用户。
重复消费的后果:
- 数据仓库那边,订单金额会被重复累加,报表数额虚高
- 通知那边,用户会收到两条一样的短信
第二条尤其不能忍,用户会投诉。
所以当时的目标很明确:做到不漏、不重。
试过的三条路
路线一:消费完再提交 offset
for {
msg := poll()
process(msg)
commitOffset(msg) // 处理完才提交
}
这是最直接的想法。问题是处理成功、提交 offset 之前进程挂了,重启后会重新消费这条消息。所以这条路只能保证「不丢」(至少一次),不能保证「不重」。
反过来说,如果先提交 offset 再处理,那就是「不多」(至多一次),但会丢。
这是本质的取舍,不是实现细节问题。 消息队列的 offset 提交和业务处理不可能在一个原子操作里完成,除非业务数据和 offset 存在同一个事务里。
路线二:把 offset 存进业务库,同一个事务
思路是:处理消息时,把业务写入和 offset 记录放在一个数据库事务里提交,下次启动从这里恢复位置。
BEGIN;
INSERT INTO dw_order ...;
UPDATE kafka_offset SET offset = ? WHERE partition = ?;
COMMIT;
这样确实能保证「处理成功」和「记录位置」原子化。但有几个麻烦:
- 每个分区只能有一个消费者按顺序写,否则 offset 会乱。等于放弃了横向扩展的灵活性。
- rebalance 时很麻烦,分区被移交后新消费者要能准确恢复位置,代码复杂度上来了。
- 回滚/重放变得很别扭,想重跑一段历史数据得手动改 offset 表。
- 跨多个 topic、多个下游时,offset 表会变成一个新的热点表。
我们真做了这个版本,跑了大概两周。功能是对的,但代码从 300 行涨到 900 多行,而且每次排查问题都要先搞清楚「这个 offset 表当前是什么状态」。有个同事吐槽说,我们为了让报表数字准,写了个 mini 版的 Kafka 事务。
路线三:Kafka 事务 —— 看了文档就放弃了
Kafka 0.11 之后确实有事务 API,可以做到「消费-处理-生产」的原子性。但它的前提是你的输出去向也是 Kafka topic。我们的下游一个写 MySQL、一个发短信,都不在 Kafka 里,用不上。
而且事务会带来 transaction.timeout.ms、isolation.level=read_committed 这些新的调优维度,还有事务超时导致的 ProducerFencedException,运维复杂度不小。
换思路:让重复无害
转弯的点来自一句话:「重复本身不可怕,重复造成不同结果才可怕。」
我们的两个下游,问题本质完全不同:
- 数据仓库:问题是累加型操作对重复敏感。改法是把
INSERT ... 金额 + x改成「按订单 ID 覆盖写入」,重复执行结果一样。用订单 ID + 状态版本号做主键,重复消息直接覆盖,金额不累加。 - 短信通知:问题是副作用无法撤销。改法是加一张去重表,发之前先
INSERT ... ON DUPLICATE KEY UPDATE抢占,抢到才发。
-- 去重表:同一个订单的同一个状态只发一次
CREATE TABLE notify_dedup (
biz_key VARCHAR(128) NOT NULL,
created_at DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,
PRIMARY KEY (biz_key)
);
INSERT INTO notify_dedup (biz_key) VALUES (?);
-- 影响行数为 1 才发短信,为 0 说明发过了,直接跳过
biz_key 用 订单ID:状态,天然幂等。
改完之后:
- 代码量回到 350 行左右
- 线上出过两次重复消费,都没造成后果(一次是被去重表拦住,一次是覆盖写入)
- 可以把 offset 改回「处理前提交」的简单模式,甚至能接受偶发的重复
几个踩过的坑
去重表要有清理策略。 我们用 created_at 定期删 30 天前的记录。不清理的话这张表一年能到几亿行,虽然只是主键索引也扛不住。
幂等键要从业务里来,不能从消息里来。 一开始我们用的是 Kafka 的 topic-partition-offset 作为去重键,这完全没用——重复消费时 offset 是一样的,本来就该去重,但重新生产一条内容相同的消息时 offset 不同,去重就失效了。幂等键必须是业务语义上的唯一标识。
别忘了处理乱序。 至少一次不保证顺序。订单状态从「已支付」变成「已发货」,如果两条消息乱序到达,下游会先把状态改成「已发货」再改回「已支付」。我们在消息里带了版本号,写入时用 WHERE version < ? 拦住旧消息。
「至少一次」要说清楚边界。 我们的保证是:不丢,可能重复。延迟上,正常情况下秒级,异常情况下最多重试到 24 小时。这些要跟数据仓库和通知的负责人对齐,不然他们以为数据是精确的,出了问题还是找你。
一句话总结
精确一次的代价,通常高于重复一次的成本。 先算清楚重复一次的代价是什么,如果可以在下游用幂等消化掉,就不要去折腾上游的原子性。
真正需要精确一次的场景(比如扣款、库存扣减),一般也不适合用消息队列来保证,那种场景应该让业务方自己在数据库事务里解决。