LLM 打分同一对答案换个顺序差 0.8 分 位置偏差怎么消

做模型对比时用小模型当裁判,成对打分。同一对答案交换顺序再问一次,分数差 0.8,一次判前者好一次判后者好,等于白判。两百对样本里有四十七对出现这种翻转。

第一反应是温度太高,设成零重跑,同一顺序下结果稳定了,交换顺序仍然翻。说明不是随机性,是位置偏好。

换另一家的模型当裁判,偏差小一点,0.5 分,排在前面的仍然占优。把评分细则写细,要求先列证据再下结论,偏差降到 0.3,还是没消掉。这种偏好来自训练数据里第一个答案更完整的先验,靠提示词改不动。

能用的做法是双向评判。每对答案问两次,顺序互换,只有两次结论一致才分出胜负,冲突判平。判平的样本占一成八,这部分本来就不该硬判。再让裁判先输出逐条对照的证据,最后给结论,一致性又提了一截。

def judge(a, b):
    r1 = ask(a, b)      # A 表示前者更好
    r2 = ask(b, a)      # 交换顺序再问
    if r1 == "A" and r2 == "B":
        return "a"
    if r1 == "B" and r2 == "A":
        return "b"
    return "tie"

评判集本身也要挑。我抽了一百对差距明显的人工样本做校准,裁判在这些样本上的一致率是九成三,说明不是模型不会判,是差距小的样本它判不准。后面所有一致率都按差距分层统计,笼统的一个数字没有意义。

两百对人工标注样本上,和人工的一致率从六成二到八成二,判平比例一成八,人工那边也有一成二认为打平,口径接近了。成本翻倍,一次评判两次调用,用小模型还能接受。

长度偏差会和位置偏差叠加,答案长的那个更容易被判好。评分细则里明确写了不因长度加分,送进去之前把两边字数打平。判断裁判靠不靠谱,最省事的办法就是自己跟自己换位测一遍,一致率低于七成的裁判别用。

您可以还会对下面的文章感兴趣:

暂无相关文章