新模型在二百条评测集上从 71.5% 涨到 77.7%,多了 6.2 个点,产品催着上线。我盯着这个数总觉得不对,二百条里一条就是零点五个点,6.2 分只对应十二条样本,换一批题可能就没了。样本只有二百条时,一条题的权重太大,任何一条标注争议都能改变结论。先算置信区间,再决定发不发。
按二项分布粗算,标准差大约 3.1 个点,新模型的 95% 区间是 71.6% 到 83.8%,和旧模型的 71.5% 刚好擦边。换成配对比较更清楚,新模型修对三十八条,弄错二十五条,净增十三条,显著性检验的 p 值 0.13,没到 0.05。这个结果不支持直接上线。
用重采样再确认一遍,对每条的得分差抽五千次,看均值差的分布。区间跨零就说明提升不稳。代码很短,跑一次两秒,比争论一下午有用。重采样要固定随机种子,否则两次跑出来的区间端点会差零点几个点。
import numpy as np
def gap_ci(a, b, n=5000):
d = np.array(a) - np.array(b)
idx = np.random.randint(0, len(d), (n, len(d)))
mean = d[idx].mean(axis=1)
return np.percentile(mean, [2.5, 97.5])
算出来区间是负零点三到十二点七个点,确实跨零。把评测集扩到八百条,从近三个月线上日志分层抽,新模型 76.1%,旧模型 71.2%,差 4.9 个点,区间 1.2 到 8.6,p 值 0.004,这次才敢发。
分领域看还有问题。合同条款类涨了九个点,多轮追问类掉了三个点,原因是新模型更爱一句话收尾。上线时给多轮场景保留旧模型,按意图路由,整体涨 4.1 个点,没有哪个大类明显退步。分层抽样按业务线配额,避免某一类问题占比过高把整体分数带偏。
评测集本身也要防污染。新模型训练数据里如果有同源题目,分数会虚高。我拿五十条题做改写,换问法不换答案,分数从 76.1% 掉到 73.8%,说明有两个多点是背题。最终报告里写的是改写后的数,不是原始分。
