Ollama 0.3.12 输出循环重复同一句:temperature 和惩罚项怎么调

本地跑 Ollama 0.3.12,模型 qwen2.5:7b,做报错原因解释。同一段日志问下去,回答到第三段开始重复「这个问题的根本原因在于配置不当」,连着出现九次,一共 1800 个 token,后面全是废的。

查参数,temperature 当时是 0.8,top_p 0.9,repeat_penalty 用的默认 1.1。把 temperature 降到 0.2,重复次数少了,但回答变得很短,问什么都只回一句,没法用。

又把 repeat_penalty 拉到 1.3,重复是没了,可模型开始中英混杂,中文句子里突然蹦出 the Configuration,还有把「配置」写成「配寘」的。惩罚太狠会把正常词也压掉。

最后停在 repeat_penalty 1.15、repeat_last_n 128、temperature 0.4、top_p 0.85。这个组合在 20 条固定 prompt 上重放,同一句连续出现的最多次数从 9 降到 1,语言没有崩。

Ollama 的 options 里还支持 presence_penalty 和 frequency_penalty,我这边测下来这两项在本地模型上效果不如 repeat_penalty 明显,设 0.3 到 0.5 之间变化很小,设高了回答开始跑题。

另有一个非参数的办法:在 stop 里加几个模型爱用的收尾短语,比如「如需进一步了解」,命中就截断。它对重复句没用,但能把后面那段车轱辘话砍掉。

同一个参数在 qwen2.5:7b 和 llama3.1:8b 上表现不一样,llama3.1 的 repeat_penalty 到 1.2 就开始丢标点,qwen 到 1.3 才乱。换模型必须重新跑一遍这 20 条。

验证写了个小脚本,把 20 条回答按逗号切句,统计连续相同的句子数量,改之前平均 4.7 句,改之后 0.8 句。参数不是越保守越好,惩罚项过线,模型会开始说胡话。

{
  "model": "qwen2.5:7b",
  "options": {
    "temperature": 0.4,
    "top_p": 0.85,
    "repeat_penalty": 1.15,
    "repeat_last_n": 128,
    "num_predict": 1024
  },
  "stop": ["如需进一步了解", "希望以上回答"]
}

您可以还会对下面的文章感兴趣: