LLM 打分同一对答案换个顺序差 0.8 分 位置偏差怎么消

陆零云 20 0
做模型对比时用小模型当裁判,成对打分。同一对答案交换顺序再问一次,分数差 0.8,一次判前者好一次判后者好,等于白判。两百对样本里有四十七对出现这种翻转。 第一反应是温度太高,设成零重跑,同一顺序下结果稳定了,交换顺序仍然翻。说明不是随机性,是位置偏好。 换另一家的模型当裁判,偏差小一点,0.5 分,排在前面的仍然占优。把评分细则写细,要求先列证据再下结论,偏差降到 0.3,还是没消掉。这种偏好来自训练数据里第一个答案更完整的先验,靠提示词改不动。 能用的...