微调集 1.2 万条有 3400 条重复 去重后 loss 反升怎么查

客服 SFT 集 1.2 万条,用 simhash 查了一遍,汉明距离小于 3 的有 3400 条,占 28%。这些是同一批问题换了问法,答案一字不差。去重后剩 8600 条,重训 LoRA,loss 从 0.82 升到 1.05,业务准确率从 84% 掉到 80%。

第一反应是数据不够,把去重后的样本重复两遍训练,准确率回到 83%,但回答开始套模板,用户换个问法就答得很机械。评测集里模板题 92%,长尾题只有 61%。

回看评测集构成,30% 是高频模板问题,训练集去重时把这类问题的密度一起削掉了,模型对高频场景反而不熟。去重不能只按文本相似,要按语义聚类,每类保留两三条不同问法,别一刀切成一条。simhash 对换了语序的句子也不敏感,漏掉的重复还有 400 多条。

做法是把问题过 embedding,按余弦 0.9 聚类,每类按答案质量排序留三条,再补 800 条从线上日志挖的长尾问题。答案里带工号和内部链接的统一清掉,这类噪声会让模型学会复述编号。

def dedup(rows, thr=0.9, keep=3):
    vecs = embed([r["q"] for r in rows])
    groups, used = [], set()
    for i, v in enumerate(vecs):
        if i in used:
            continue
        sim = cosine(vecs, v)
        idx = [j for j in sim.argsort()[::-1]
               if sim[j] >= thr]
        used.update(idx)
        groups.append([rows[j] for j in idx[:keep]])
    return [r for g in groups for r in g]

重训后业务准确率 86%,模板题 90%,长尾题 74%,比不去重的版本全面更好。数据量从 1.2 万降到 9400,训练时间还少了 20 分钟。

清洗脚本还查了答案长度,超过 800 字的有 600 条,大部分是整篇帮助文档贴进去。这类样本让模型学会长篇复述,截到 300 字以内再训,回答啰嗦的比例从 22% 降到 9%。

重复样本里还有 120 条是同一问题配了不同答案,人工挑了更准确的那条,另一条删掉。这类冲突不处理,模型会随机挑一个,评测时好时坏。

去重前先看评测集的分布,训练集和评测集的题型比例差太多,去重就会把评测里的高频题删没。这一步比调 simhash 阈值重要。清洗脚本每周跑一次,新数据进来先过一遍。

您可以还会对下面的文章感兴趣: