陆零云
26
0
客服 SFT 集 1.2 万条,用 simhash 查了一遍,汉明距离小于 3 的有 3400 条,占 28%。这些是同一批问题换了问法,答案一字不差。去重后剩 8600 条,重训 LoRA,loss 从 0.82 升到 1.05,业务准确率从 84% 掉到 80%。
第一反应是数据不够,把去重后的样本重复两遍训练,准确率回到 83%,但回答开始套模板,用户换个问法就答得很机械。评测集里模板题 92%,长尾题只有 61%。
回看评测集构成,30% 是高频模...
陆零云
35
0
现象
用 PEFT 0.12 在 fp16 下跑 LoRA 微调,前二十步 loss 在 1.8 附近平稳下降,第二十一步突然变成 nan,之后每一步都是 nan,导出的适配器加载后回答全是重复的符号,等于白跑。
原因
fp16 的动态范围窄,学习率 2e-4 配上较大的梯度容易上溢成 inf,再参与运算就变 nan。数据里如果混进空样本或整批都是 padding,交叉熵也会算成 nan。没有开梯度裁剪时,一次异常梯度就能把全部参数污染,之后无论怎么继续训...