一套 BI 问答的提示词里塞了 63 张表的 DDL,加上字段注释和枚举值,tiktoken 数出来 40218 token。模型是 gpt-4o-mini,输入上限够,但每次调用成本 0.03 元,一天 2 万次就是 600 元,而且长上下文里模型经常看错表名。
第一版按字符截断,只留前 20 张表。结果用户问订单退款,订单表在 41 位,直接被裁掉,SQL 里编出一张不存在的 refund 表。也试过只保留字段名删注释,token 降到 2.8 万,模型看不懂 status 的枚举含义,把 3 写成已完成。同义词表是人工维护的,每周从失败 SQL 里补十来个词,三个月攒到 300 多。
现在做表级召回。先把 query 里的业务词和表名、字段注释做匹配打分,同义词表补了 300 多个词;再按外键做一跳扩展,保证 join 路径上的表都在;最后按分数从高到低装进 8000 token 预算,主表和被 join 的表永远保留。主表识别错的话整条 SQL 都会歪,所以 query 里出现表注释原词时权重加倍。
def pick(tables, query, budget=8000):
keep, used = [], 0
for t in rank(tables, query):
cost = estimate_tokens(t.ddl)
if used + cost > budget:
break
keep.append(t)
used += cost
return add_join_tables(keep)
裁完平均 7200 token,P99 是 7960。评测 500 条问题,SQL 可执行率从 81% 提到 93%,表名幻觉从 7.4% 降到 1.2%。字段级也不能全留,宽表 180 个字段,只保留 query 命中的列加主键外键,其余折叠成一行字段名列表。预算也不是固定值,简单问题 3000 token 就够,复杂 join 才放到 8000。
判断裁剪是否够用,看两个数,SQL 里出现的表是不是都在保留集内,以及 join 条件有没有指向被删的表。前者掉了就是召回问题,后者掉了就是外键扩展漏了。
