三个 Agent 协作处理售后单,共享一份 Redis 里的任务状态,每个完成后读改写。上线一周每天二百多次冲突,日志里是 WATCH 监视的键被修改,表现为后写的覆盖先写的,优惠券补偿步骤经常丢。
第一反应是加 SETNX 锁,谁拿到谁写。结果是长任务持锁四十秒,另外两个全在等,吞吐掉了一半。换分布式锁,锁三十秒过期,可一次模型调用偶尔超过三十秒,锁提前释放,两个同时写,冲突没少。锁的租约还得有续期线程,模型调用一慢,续期也跟着抖。
改成乐观锁。状态里带版本号,写之前比对,不一致就重读重算,最多重试三次,间隔加一百到四百毫秒的随机抖动。每个写操作带 Agent 编号和步骤编号,同一个步骤重复提交直接返回上次结果,网络重试不会写两遍。
def cas(key, old, new):
with r.pipeline() as p:
while True:
try:
p.watch(key)
cur = json.loads(p.get(key) or "{}")
if cur.get("v") != old:
p.unwatch()
return False
p.multi()
p.set(key, json.dumps(new))
p.execute()
return True
except redis.WatchError:
continue
冲突从每天二百次降到三次,剩下的是真正的同时改同一字段,靠业务规则合并。长尾写延迟从十二毫秒涨到三十毫秒,但没有了四十秒的等锁,整体流程反而快 18%。Redis 主从切换时监视会失效,这一层用本地事件日志兜底,回放能补齐。
事件日志按工单号和步骤号追加,不覆盖。真出现冲突,把两个 Agent 的补丁都记下来,由合并函数按字段优先级取值,优惠券金额以风控为准,物流状态以查询为准。合并规则写在配置里,加新 Agent 不用改代码。版本号只增不减,回放时按最大版本覆盖,避免旧补丁回写。
验证跑了一万二千步协作,丢失更新零次,重复补偿零次。压测时故意让一个 Agent 延迟三十五秒,版本冲突触发七次重试,最终状态仍然一致。这个数比看日志里的冲突告警更有说服力。
