提示词只留 8000 token 表结构 | 动态裁剪怎么删才不误伤

陆零云 24 0
一套 BI 问答的提示词里塞了 63 张表的 DDL,加上字段注释和枚举值,tiktoken 数出来 40218 token。模型是 gpt-4o-mini,输入上限够,但每次调用成本 0.03 元,一天 2 万次就是 600 元,而且长上下文里模型经常看错表名。 第一版按字符截断,只留前 20 张表。结果用户问订单退款,订单表在 41 位,直接被裁掉,SQL 里编出一张不存在的 refund 表。也试过只保留字段名删注释,token 降到 2.8 万,模...

few-shot 加到 20 个 prompt 涨到 1200 token 准度反降怎么砍

陆零云 19 0
一个工单分类任务,label 有 9 个。我一开始很贪心,每个 label 塞 2 个例子,加说明一共 20 个 few-shot,prompt 从 380 token 涨到 1200。跑同一套 200 条测试集,准确率不但没涨,从 88% 掉到 81%,P95 延迟从 1.9 秒变成 3.4 秒。测试集是业务同学标的 200 条历史工单,9 个类每类 20 条上下,指标用 macro F1,避免大类把小数类盖住。 把预测按 label 拆开看,错的集中在...