陆零云
26
0
客服 SFT 集 1.2 万条,用 simhash 查了一遍,汉明距离小于 3 的有 3400 条,占 28%。这些是同一批问题换了问法,答案一字不差。去重后剩 8600 条,重训 LoRA,loss 从 0.82 升到 1.05,业务准确率从 84% 掉到 80%。
第一反应是数据不够,把去重后的样本重复两遍训练,准确率回到 83%,但回答开始套模板,用户换个问法就答得很机械。评测集里模板题 92%,长尾题只有 61%。
回看评测集构成,30% 是高频模...
陆零云
29
0
用 datasets 2.19 加载自己整理的 3200 条微调数据,跑到第三个 epoch 突然炸了,报 JSONDecodeError: Expecting value: line 3 column 1 (char 42)。前面两个 epoch 都正常,loss 也降到 1.8,说明模型那边没问题,坏的是数据。
第一反应是 BOM。file 一下输出 UTF-8 Unicode text,没有 BOM;用 python 读第一行也正常。后来 wc -l...