做合同金额抽取,要求同样的输入必须得到同样的输出,方便人工复核。服务是 vLLM 0.6.3,请求里 temperature 写 0,top_p 写 1,seed 写 42。同一个 prompt 连发两次,一次返回 1280.00,一次返回 1,280.00,字段顺序也偶尔对调。
第一反应是参数没带全,把两次的 request body 打出来逐字节比对,完全一样。又怀疑网关缓存做了合并,绕过网关直接用 curl 打容器端口,结果还是不稳定,十次里有三次不一样。
翻 vLLM 的 issue 才弄明白 seed 的作用范围。它只固定采样阶段的随机数,不固定前向计算。batch 里同时进来别的请求,token 数不同会走到不同的 GEMM kernel,浮点累加顺序变了,两个候选 token 的 logits 只差 0.02,排名就翻过来。greedy 也一样,它只保证选最大的那个,不保证最大值两次算得一样。
试过把 max_num_seqs 设成 1,再关掉 enable_prefix_caching,单并发下确实稳定了,可吞吐掉到原来的三分之一,线上不可能这么跑。也试过给 seed 拼时间戳,那只是把随机性换了个来源,问题还在。
最后接受数值层面的不确定,改在业务侧兜。金额统一走 schema 约束输出,服务端再做一次千分位和空格的归一化;关键字段抽两遍,两次不一致就进人工队列。3000 份合同里只挑出 26 份需要复核,比追着 seed 不放实用。
需要逐字复现的离线任务,单独起一个 batch 为 1 的实例,别和在线流量混在一起跑。
body = {
"model": "qwen2.5-14b-instruct",
"temperature": 0,
"top_p": 1,
"seed": 42,
"max_tokens": 512,
}
# seed 只固定采样 不固定 batch 内的 kernel
r = client.chat.completions.create(**body) 