temperature 设 0.0 两次输出仍不一致 seed 到底管不管用

陆零云 27 0
做合同金额抽取,要求同样的输入必须得到同样的输出,方便人工复核。服务是 vLLM 0.6.3,请求里 temperature 写 0,top_p 写 1,seed 写 42。同一个 prompt 连发两次,一次返回 1280.00,一次返回 1,280.00,字段顺序也偶尔对调。 第一反应是参数没带全,把两次的 request body 打出来逐字节比对,完全一样。又怀疑网关缓存做了合并,绕过网关直接用 curl 打容器端口,结果还是不稳定,十次里有三次不...

OpenAI 接口 temperature 设 0 还每次不同:seed 42 为什么锁不住

陆零云 27 0
做合同字段抽取,temperature 设 0,seed 固定 42,同一段文本连跑 5 次,5 份 JSON 有三处不一样。金额一次是 128000 一次是 128,000,日期格式也变了一版。业务方认定是我们代码里随机数没关。 先排除自己的锅。请求体打印出来 5 次完全一致,prompt 没拼时间戳,缓存也没命中。看返回里的 system_fingerprint,5 次里 2 次是 fp_44709d6fcb,另外 3 次是 fp_3bc1b8f0a2...