一份 68 页的年报要出 800 字摘要,第一版用分块 map-reduCe,每块 3000 token 先总结,再二级汇总。交付后财务指出营业收入同比增长写成了约 37%,原文是 37.4%,毛利率 28.63% 干脆消失了。
问题出在两次压缩。第一层让模型概括要点,模型天然把精确数字换成模糊表述;第二层汇总时手里只有模糊表述,再也还原不回去。还有块边界,一句话被切两半,同比增长 37.4% 的数字落在下一块开头,两边都没带上。
试过 temperature 设 0,没用,丢数字跟随机性无关。试过让每块输出 JSON 的 facts 数组,好一点,42 个关键数字还剩 3 个丢。试过把块加到 8000 token,块数少了,但单块里数字太密,模型照样挑着写。
现在的流程多一步抽取。切块之前先用正则把所有带数字的句子抓出来,金额、百分比、同比、单位都覆盖,编号存成一张数字表,附在汇总提示词里,要求所有数字必须引用表中编号且不得改写。分块摘要的指令也改了,明确写保留百分比和金额原值。块之间留 200 字重叠,避免句子被切断。
import re
PAT = re.compile(r"[^。;]*\d+(?:\.\d+)?%?[^。;]*[。;]")
facts = []
for seg in PAT.findall(text):
facts.append(seg.strip())
table = "\n".join(f"{i}. {s}" for i, s in enumerate(facts))
数字表本身也要管大小。68 页抓出 620 条,全塞进汇总提示词要 6000 token,超了预算还把关键项稀释掉。按章节分组,每组只留金额和百分比,同比环比这类派生值另存,最终表压到 46 条,汇总时按章节引用,编号不会串。
验收是逐个对。人工圈出原文 42 个关键数字,修复后 42 个全中,格式也一致。成本涨了 18%,数字表占了约 900 token。还有一处没解决,表格里的数字正则抓不到,跨行单元格得单独按表格结构解析。
