LoRA 微调 7B 后通用能力掉 12.6%:数据配比怎么调回来

陆零云 26 0
给客服场景微调 Qwen2.5-7B,8000 条业务问答,LoRA r=16,学习率 2e-4,跑 3 个 epoch。业务集准确率从 61% 涨到 88%,看着不错,可 MMLU 从 68.4 掉到 59.8,相对掉 12.6%,连「9.11 和 9.9 哪个大」都开始答错。 第一反应是学习率太高,降到 5e-5 重跑,通用能力回到 63.1,业务集也掉到 79%。试过只训练 q_proj 和 v_proj,灾难性遗忘轻一些,但业务集提升只有 11 个...