财报问答上线两周,引用率只有 0.42,用户问营业收入,回答里贴的是一段管理层讨论,数字对不上。抽召回结果看,表格转成 markdown 后跟正文一起切,一块 800 token,表格被切成两半,表头留在上一块,数字全成了没有列名的裸值。
第一反应是把块调大,1200 token 能装下大部分表。可大表照样断,而且块一大,召回时正文段落也被带进来,噪声更多。
试过把表格抽出来放另一个集合,只按表名检索。效果一般,用户问的是「三季度毛利率」,表名只写「主要财务数据」,字面对不上。又试过让模型给每张表写摘要,写得挺准,但 800 张表跑一遍要 40 分钟,更新一次重跑一次。
def table_chunk(tbl):
head = "|".join(c.name for c in tbl.cols)
summ = "%s 单位%s %s" % (
tbl.title, tbl.unit, head)
return {"text": summ + "
" + tbl.to_markdown(),
"embed_text": summ, "kind": "table",
"table_id": tbl.id}
现在的做法是摘要加原文一起存。摘要用模板拼,表名、单位、列名、期间拼成一句话,只拿摘要去算向量,进库的正文保留完整表格。表格不切分,超过 2000 token 才按行拆,每块重复表头。
检索侧给表格单独的权重,命中表格时优先返回整表,不再二次切。引用率从 0.42 到 0.78,答案里数字错一位的投诉从每周 9 条降到 1 条。
验证要看两件事,表格召回率和对上的表是不是同一张。我把 300 条问题的人工标注表 id 存下来,跑完直接比对 id,比看回答快。表格和正文混排的 PDF 还要注意,解析时先按线框还原表结构,还原失败的表干脆不进索引。
