评测集 200 条换模型后涨 6.2 分 置信区间怎么算才敢上线

陆零云 28 0
新模型在二百条评测集上从 71.5% 涨到 77.7%,多了 6.2 个点,产品催着上线。我盯着这个数总觉得不对,二百条里一条就是零点五个点,6.2 分只对应十二条样本,换一批题可能就没了。样本只有二百条时,一条题的权重太大,任何一条标注争议都能改变结论。先算置信区间,再决定发不发。 按二项分布粗算,标准差大约 3.1 个点,新模型的 95% 区间是 71.6% 到 83.8%,和旧模型的 71.5% 刚好擦边。换成配对比较更清楚,新模型修对三十八条,弄错...