一个工单分类任务,label 有 9 个。我一开始很贪心,每个 label 塞 2 个例子,加说明一共 20 个 few-shot,prompt 从 380 token 涨到 1200。跑同一套 200 条测试集,准确率不但没涨,从 88% 掉到 81%,P95 延迟从 1.9 秒变成 3.4 秒。测试集是业务同学标的 200 条历史工单,9 个类每类 20 条上下,指标用 macro F1,避免大类把小数类盖住。
把预测按 label 拆开看,错的集中在两个本来就好分的类上,模型开始把普通咨询判成投诉。原因是例子分布不均:投诉类我给了 4 个长例子,占了 prompt 一半篇幅,最后一个例子又是投诉,模型被最近的上下文带偏。
第一刀砍到每类 1 个,共 9 个例子,prompt 620 token,准确率回到 89%。再往下试 3 个例子,掉到 84%,说明还是有下限,9 类任务每类给 1 个是底线。
第二刀改成动态选:用 bge-m3 把当前工单和例子库做相似度,取 top3 拼进去,例子库保持每类 6 条。prompt 稳定在 700 token 上下,准确率 90%,延迟回到 2.1 秒。例子越多越稳是个错觉,例子越像才有用。
def pick(examples, budget=700):
out, used = [], 0
for ex in sorted(examples, key=lambda x: -x["score"]):
n = len(enc.encode(ex["text"]))
if used + n > budget:
break
out.append(ex["text"])
used += n
return out, used
例子顺序也影响结果。把投诉类的 4 个长例子挪到 prompt 最后,准确率掉到 79%,位置比数量更要紧。现在固定把短例子放前面、长例子放中间,最后一例选当次检索分最高的那条。
我给自己定了个硬约束:few-shot 不超过总 token 预算的 45%,超了就从尾部按相似度砍。上线后每周抽 50 条看混淆矩阵,哪个类开始串就补那个类的例子,别整体往上加。例子里的标签名要和 schema 完全一致,大小写差一个字母,模型就会自己造一个新类出来。
