temperature 设 0.0 两次输出仍不一致 seed 到底管不管用

做合同金额抽取,要求同样的输入必须得到同样的输出,方便人工复核。服务是 vLLM 0.6.3,请求里 temperature 写 0,top_p 写 1,seed 写 42。同一个 prompt 连发两次,一次返回 1280.00,一次返回 1,280.00,字段顺序也偶尔对调。

第一反应是参数没带全,把两次的 request body 打出来逐字节比对,完全一样。又怀疑网关缓存做了合并,绕过网关直接用 curl 打容器端口,结果还是不稳定,十次里有三次不一样。

翻 vLLM 的 issue 才弄明白 seed 的作用范围。它只固定采样阶段的随机数,不固定前向计算。batch 里同时进来别的请求,token 数不同会走到不同的 GEMM kernel,浮点累加顺序变了,两个候选 token 的 logits 只差 0.02,排名就翻过来。greedy 也一样,它只保证选最大的那个,不保证最大值两次算得一样。

试过把 max_num_seqs 设成 1,再关掉 enable_prefix_caching,单并发下确实稳定了,可吞吐掉到原来的三分之一,线上不可能这么跑。也试过给 seed 拼时间戳,那只是把随机性换了个来源,问题还在。

最后接受数值层面的不确定,改在业务侧兜。金额统一走 schema 约束输出,服务端再做一次千分位和空格的归一化;关键字段抽两遍,两次不一致就进人工队列。3000 份合同里只挑出 26 份需要复核,比追着 seed 不放实用。

需要逐字复现的离线任务,单独起一个 batch 为 1 的实例,别和在线流量混在一起跑。

body = {
    "model": "qwen2.5-14b-instruct",
    "temperature": 0,
    "top_p": 1,
    "seed": 42,
    "max_tokens": 512,
}
# seed 只固定采样 不固定 batch 内的 kernel
r = client.chat.completions.create(**body)

您可以还会对下面的文章感兴趣: