做模型对比时用小模型当裁判,成对打分。同一对答案交换顺序再问一次,分数差 0.8,一次判前者好一次判后者好,等于白判。两百对样本里有四十七对出现这种翻转。
第一反应是温度太高,设成零重跑,同一顺序下结果稳定了,交换顺序仍然翻。说明不是随机性,是位置偏好。
换另一家的模型当裁判,偏差小一点,0.5 分,排在前面的仍然占优。把评分细则写细,要求先列证据再下结论,偏差降到 0.3,还是没消掉。这种偏好来自训练数据里第一个答案更完整的先验,靠提示词改不动。
能用的做法是双向评判。每对答案问两次,顺序互换,只有两次结论一致才分出胜负,冲突判平。判平的样本占一成八,这部分本来就不该硬判。再让裁判先输出逐条对照的证据,最后给结论,一致性又提了一截。
def judge(a, b):
r1 = ask(a, b) # A 表示前者更好
r2 = ask(b, a) # 交换顺序再问
if r1 == "A" and r2 == "B":
return "a"
if r1 == "B" and r2 == "A":
return "b"
return "tie"
评判集本身也要挑。我抽了一百对差距明显的人工样本做校准,裁判在这些样本上的一致率是九成三,说明不是模型不会判,是差距小的样本它判不准。后面所有一致率都按差距分层统计,笼统的一个数字没有意义。
两百对人工标注样本上,和人工的一致率从六成二到八成二,判平比例一成八,人工那边也有一成二认为打平,口径接近了。成本翻倍,一次评判两次调用,用小模型还能接受。
长度偏差会和位置偏差叠加,答案长的那个更容易被判好。评分细则里明确写了不因长度加分,送进去之前把两边字数打平。判断裁判靠不靠谱,最省事的办法就是自己跟自己换位测一遍,一致率低于七成的裁判别用。
