OpenAI 接口 temperature 设 0 还每次不同:seed 42 为什么锁不住

做合同字段抽取,temperature 设 0,seed 固定 42,同一段文本连跑 5 次,5 份 JSON 有三处不一样。金额一次是 128000 一次是 128,000,日期格式也变了一版。业务方认定是我们代码里随机数没关。

先排除自己的锅。请求体打印出来 5 次完全一致,prompt 没拼时间戳,缓存也没命中。看返回里的 system_fingerprint,5 次里 2 次是 fp_44709d6fCb,另外 3 次是 fp_3bc1b8f0a2,后端换了批次配置。seed 只在同一个 fingerprint 下才有意义。

seed 本身是尽力而为,文档写得很清楚,不保证确定性。MoE 的专家路由、连续批处理里 batch 的组合顺序、浮点累加的归约顺序,任何一项变了,logits 末位就变,温度再低也会在近似并列的 token 上分叉。

试过 temperature 0 加 top_p 1 加 presence_penalty 0,还是抖。试过本地 vLLM 0.6 部署 Qwen2.5-7B,greedy 加 seed,单请求稳定,一开连续批处理又不稳,得 enforce_eager=True 且 max_num_seqs 设 1,吞吐掉到 3 请求每秒,不划算。

import hashlib

h = hashlib.sha256(prompt.encode()).hexdigest()
if h in cache and cache[h]["fp"] == resp.system_fingerprint:
    return cache[h]["data"]

最后按业务需求分层。抽取结果不做逐字比对,改成字段级语义校验,金额去掉千分位比数值,日期统一 parse。真要可复现的场景,把 prompt 的 sha256 加 fingerprint 当 key 缓存第一次结果,命中直接返回。

判断标准也换了。现在监控同一 prompt 的字段一致率,从 82% 提到 99.6%,剩下 0.4% 是模型把空字段写成 null 和空串两种形式,属于 schema 层面的问题,不再指望 seed 解决。

您可以还会对下面的文章感兴趣: