微调集 1.2 万条有 3400 条重复 去重后 loss 反升怎么查

陆零云 26 0
客服 SFT 集 1.2 万条,用 simhash 查了一遍,汉明距离小于 3 的有 3400 条,占 28%。这些是同一批问题换了问法,答案一字不差。去重后剩 8600 条,重训 LoRA,loss 从 0.82 升到 1.05,业务准确率从 84% 掉到 80%。 第一反应是数据不够,把去重后的样本重复两遍训练,准确率回到 83%,但回答开始套模板,用户换个问法就答得很机械。评测集里模板题 92%,长尾题只有 61%。 回看评测集构成,30% 是高频模...

微调数据集多一个空行:load_dataset 报 JSONDecodeError 怎么排查

陆零云 29 0
用 datasets 2.19 加载自己整理的 3200 条微调数据,跑到第三个 epoch 突然炸了,报 JSONDecodeError: Expecting value: line 3 column 1 (char 42)。前面两个 epoch 都正常,loss 也降到 1.8,说明模型那边没问题,坏的是数据。 第一反应是 BOM。file 一下输出 UTF-8 Unicode text,没有 BOM;用 python 读第一行也正常。后来 wc -l...