陆零云
27
0
做合同金额抽取,要求同样的输入必须得到同样的输出,方便人工复核。服务是 vLLM 0.6.3,请求里 temperature 写 0,top_p 写 1,seed 写 42。同一个 prompt 连发两次,一次返回 1280.00,一次返回 1,280.00,字段顺序也偶尔对调。
第一反应是参数没带全,把两次的 request body 打出来逐字节比对,完全一样。又怀疑网关缓存做了合并,绕过网关直接用 curl 打容器端口,结果还是不稳定,十次里有三次不...
陆零云
27
0
做合同字段抽取,temperature 设 0,seed 固定 42,同一段文本连跑 5 次,5 份 JSON 有三处不一样。金额一次是 128000 一次是 128,000,日期格式也变了一版。业务方认定是我们代码里随机数没关。
先排除自己的锅。请求体打印出来 5 次完全一致,prompt 没拼时间戳,缓存也没命中。看返回里的 system_fingerprint,5 次里 2 次是 fp_44709d6fcb,另外 3 次是 fp_3bc1b8f0a2...