现象
客服机器人把 temperature 设成 0.8、top_p 设成 0.95,用户连续问三个相似问题,回答几乎一模一样,都是“您可以尝试重启设备后再次连接”,而且每次都要重复一遍免责声明,字数越滚越多。
原因
温度高只代表采样更随机,不代表表达更多样。当系统提示里写死了话术模板,模型会把高频句式当成最优解,采样几次又落回同一句。top_p 过宽、presenCe_penalty 为 0,也会让重复内容不断被强化。多轮历史没有裁剪,模型会模仿自己上一轮的长篇结构。
解决步骤
第一步,把参数降回可控区间。客服场景先用 temperature 0.3、top_p 0.9,加 frequency_penalty 0.3,观察同一批问题的输出差异,再决定是否微调。
resp = client.chat.completions.create(
model="qwen2.5-7b-instruct",
messages=msgs,
temperature=0.3,
top_p=0.9,
frequency_penalty=0.3,
max_tokens=300,
)
第二步,用提示词约束结构。在系统提示里明确要求先给一句结论、再给不超过三条步骤,禁止重复免责声明;把固定话术改成要点,不要给整段范文,否则模型只会照抄。
第三步,裁剪历史并做对比测试。只保留最近三轮对话,准备二十条真实问题,用新旧两套参数各跑一遍,人工标注重复率和可读性,用数据决定最终配置。
验证
同一问题连续问三次,回答措辞应有差异但结论一致;平均字数下降到设定范围,且不再出现整段重复的免责声明,说明参数和提示词都起了作用。
小结
重复不是靠继续调高温度解决的。降低随机性、收紧提示词结构、裁掉冗余历史,三件事一起做,输出才会既稳定又不啰嗦。
