给客服场景微调 Qwen2.5-7B,8000 条业务问答,LoRA r=16,学习率 2e-4,跑 3 个 epoch。业务集准确率从 61% 涨到 88%,看着不错,可 MMLU 从 68.4 掉到 59.8,相对掉 12.6%,连「9.11 和 9.9 哪个大」都开始答错。
第一反应是学习率太高,降到 5e-5 重跑,通用能力回到 63.1,业务集也掉到 79%。试过只训练 q_proj 和 v_proj,灾难性遗忘轻一些,但业务集提升只有 11 个点,不够用。数据全喂业务样本,模型把输出分布收窄了,这是根子。通用数据不能随便抓,里面混了太多简体转繁体和不完整句子,清洗后只剩 1600 条,又补了 400 条自己写的指令。
第二版改配比,业务 8000 条配 2000 条通用指令,比例 4 比 1,通用数据从开源混合集里抽,覆盖数学、代码、常识。r 降到 8,学习率 1e-4,epoch 减到 2,总 token 反而少了 30%。训练时把业务和通用样本打散,别按来源分桶,否则最后几百步又被业务数据带偏。
mix = general[:2000] + domain
random.shuffle(mix)
ds = Dataset.from_list(mix).map(tokenize)
args = TrainingArguments(
per_device_train_batch_size=2,
gradient_accumulation_steps=8,
learning_rate=1e-4,
num_train_epochs=2,
)
peft = LoraConfig(r=8, lora_alpha=16,
target_modules=["q_proj", "v_proj"])
重跑后业务集 85%,MMLU 66.9,只掉 1.5 个点,C-Eval 从 72.1 到 70.8。配比还能再调,业务和通用 3 比 1 时 MMLU 回到 67.8,业务集 83%,看你要哪一头。评估集也要分开,业务 500 条、通用 1000 条,两个数一起看才知道有没有偏科。
判断有没有过拟合,别只看 loss。每 200 步跑一次 200 条通用题,连续两次下降就停,这个早停比看训练曲线准。LoRA 的 alpha 设成 r 的两倍,r 从 16 降到 8 后 alpha 也降到 16,缩放比没变。
