客服 SFT 集 1.2 万条,用 simhash 查了一遍,汉明距离小于 3 的有 3400 条,占 28%。这些是同一批问题换了问法,答案一字不差。去重后剩 8600 条,重训 LoRA,loss 从 0.82 升到 1.05,业务准确率从 84% 掉到 80%。
第一反应是数据不够,把去重后的样本重复两遍训练,准确率回到 83%,但回答开始套模板,用户换个问法就答得很机械。评测集里模板题 92%,长尾题只有 61%。
回看评测集构成,30% 是高频模板问题,训练集去重时把这类问题的密度一起削掉了,模型对高频场景反而不熟。去重不能只按文本相似,要按语义聚类,每类保留两三条不同问法,别一刀切成一条。simhash 对换了语序的句子也不敏感,漏掉的重复还有 400 多条。
做法是把问题过 embedding,按余弦 0.9 聚类,每类按答案质量排序留三条,再补 800 条从线上日志挖的长尾问题。答案里带工号和内部链接的统一清掉,这类噪声会让模型学会复述编号。
def dedup(rows, thr=0.9, keep=3):
vecs = embed([r["q"] for r in rows])
groups, used = [], set()
for i, v in enumerate(vecs):
if i in used:
continue
sim = cosine(vecs, v)
idx = [j for j in sim.argsort()[::-1]
if sim[j] >= thr]
used.update(idx)
groups.append([rows[j] for j in idx[:keep]])
return [r for g in groups for r in g]
重训后业务准确率 86%,模板题 90%,长尾题 74%,比不去重的版本全面更好。数据量从 1.2 万降到 9400,训练时间还少了 20 分钟。
清洗脚本还查了答案长度,超过 800 字的有 600 条,大部分是整篇帮助文档贴进去。这类样本让模型学会长篇复述,截到 300 字以内再训,回答啰嗦的比例从 22% 降到 9%。
重复样本里还有 120 条是同一问题配了不同答案,人工挑了更准确的那条,另一条删掉。这类冲突不处理,模型会随机挑一个,评测时好时坏。
去重前先看评测集的分布,训练集和评测集的题型比例差太多,去重就会把评测里的高频题删没。这一步比调 simhash 阈值重要。清洗脚本每周跑一次,新数据进来先过一遍。
