客服录音转写接了 Whisper,质检同事对了一百条,金额和工号错得离谱。原文说的是三万五,转写出来是「3.5 万」,另一条「订单 35000 元」被写成「三万五元」。模型没错,是我没做数字规范化,把口语原样落库了。
第一版写了个正则,把中文数字整体换成阿拉伯数字。跑完更乱,一句话里的「十分抱歉」变成「10 分抱歉」,「一下」变成「1 下」,「三天内回复」变成「3 天内回复」,一眼能看出是机械替换。
试过只在金额前后做替换,用「元」「块」当锚点。命中率上来了,可「三万五」这种省略写法算错,被换成 3500,差十倍。又试过让模型自己改写数字,300 条里 27 条把订单号改了,风险更大。
CN = {"零": 0, "一": 1, "二": 2, "三": 3,
"四": 4, "五": 5, "六": 6, "七": 7}
UNIT = {"十": 10, "百": 100, "千": 1000,
"万": 10000}
def cn2num(s):
total, cur = 0, 0
for ch in s:
if ch in CN:
cur = CN[ch]
else:
total += (cur or 1) * UNIT[ch]
cur = 0
return total + cur
「三万五」要单独处理,末尾是数字且前面有万,按「三万五千」补一位。单位词也得白名单,只有后面跟元、块、万元、笔的才转,其它一律不动。订单号走另一条规则,连续数字串保留原样,不做中文转写。
改完重跑 400 条,金额错误从 31 条降到 2 条,剩下两条是「三千五百」和「三千零五十」混着说,人工复核。判断规则有没有误伤,把被替换的片段全部打印出来按频率排序,前二十条扫一眼就知道有没有把「十分」「一下」卷进去。规则存在配置表里,每周按复核结果补两条,不写死在代码里。
