早上看板上 order-topiC 的 LAG 是 2,140,000,比昨天多了 60 万。消费者组 6 个实例,CPU 都不高,单条处理 40 毫秒,按理论值每秒该吞 150 条,实际只有 40 条。
第一反应是消费者不够。从 2 台加到 4 台,LAG 涨得更快,因为 rebalance 反复触发,每次停 30 秒。topic 只有 6 个分区,6 个消费者已经是上限,多出来的实例全程空闲。
瓶颈在分区数。单分区顺序消费,吞吐就锁在 40 条每秒。用 kafka-python 的 admin 接口把分区从 6 扩到 24,扩完 LAG 一小时降了 30 万。
from kafka.admin import KafkaAdminClient, NewPartitions
admin = KafkaAdminClient(bootstrap_servers="kafka:9092")
admin.create_partitions({"orders": NewPartitions(24)})
props.put("enable.auto.commit", "false");
props.put("max.poll.records", "200");
新问题跟着来了。同一订单的消息原本按 order_id 哈希落在同一分区,扩分区之后取模的基数变了,同订单的新旧消息落到不同分区,消费端按 order_id 做的本地去重失效,出现了 137 条重复扣款预警。
这块只能从消费端补。改成手动提交 offset,处理完再提交;去重不靠内存 map,落到 Redis 的 setnx,键是 order_id 加事件类型,过期 24 小时。两条加起来,重复消息从 0.8% 降到 0.03%。
扩分区之前该先算 key 的分布。用 console-consumer 抽样 10 万条统计哈希,能提前看出重分布比例,代价半小时。我这次是直接扩的,等于拿生产环境试。
确认:describe 里 LAG 两小时内清零;重复消费告警连续三天为 0;压测把生产速率提到每秒 400 条,消费端保持 380 条每秒,LAG 缓慢上涨但没有再失控。
分区不是越多越好。24 个分区之后文件句柄和 rebalance 时间都上来了,重启一次消费者要 45 秒。现在的判断是单分区吞吐乘分区数留 30% 余量,不够再加。
