模型返回 4096 token 的 markdown 表格:前端渲染错乱怎么清洗

客服问答返回 markdown 表格,前端用 markdown-it 渲染,1200 条样本里 74 条表格散成一行竖线。抓了三条原始返回,问题各不相同,有的表格前没有空行,有的单元格里写了未转义的竖线,还有的把整张表包在三个反引号里当成代码。

先在前端加清洗,顺序不能乱。第一步去掉代码围栏但保留内容,第二步在表头前补空行,第三步按未转义的竖线切单元格,第四步对齐列数,多的截掉少的补空串。切分要跳过反斜杠转义的竖线,正则写错会把 1|2 这种内容也切开。

也试过让模型直接输出 HTML 表格,提示词里写得很清楚,仍有 9 条返回 markdown,模型对格式指令的服从不稳定。改回 markdown 加前端兜底,后端只做一件事,检查每行列数是否一致,不一致就整段降级成纯文本列表,不让残缺表格进渲染器。后端返回前还会做一次归一化,把全角竖线 | 换成半角,中文表格里这个字符很常见。

def fix_table(md):
    lines = [l.strip() for l in md.splitlines() if l.strip()]
    rows = [split_cells(l) for l in lines]
    n = max(len(r) for r in rows)
    rows = [r + [""] * (n - len(r)) for r in rows]
    head, body = rows[0], rows[2:]
    sep = "| " + " | ".join(["---"] * n) + " |"
    out = ["| " + " | ".join(head) + " |", sep]
    out += ["| " + " | ".join(r) + " |" for r in body]
    return "
".join(out)

修完把 74 条坏样本重新跑,渲染正常的 71 条,剩下 3 条是单元格里嵌了换行,前端按行切分时会断。处理办法是把单元格内的换行替换成 <br>,再交给表格解析。渲染器版本也要锁,markdown-it 13 和 14 对表格的容错不一样,升级后老样本又坏了两条。

验证别只看截图,拿 cheerio 解析渲染后的 DOM,统计 table 数量和 tr 数量,和原始 markdown 的行数对一遍,差值必须为 0。线上加了一条埋点,表格解析失败时上报原始文本,按小时看量,修完两周失败上报从每天 60 条降到 3 条。

您可以还会对下面的文章感兴趣:

暂无相关文章