Whisper 把 3.5 万写成三万五 中文数字怎么规范化

客服录音转写接了 Whisper,质检同事对了一百条,金额和工号错得离谱。原文说的是三万五,转写出来是「3.5 万」,另一条「订单 35000 元」被写成「三万五元」。模型没错,是我没做数字规范化,把口语原样落库了。

第一版写了个正则,把中文数字整体换成阿拉伯数字。跑完更乱,一句话里的「十分抱歉」变成「10 分抱歉」,「一下」变成「1 下」,「三天内回复」变成「3 天内回复」,一眼能看出是机械替换。

试过只在金额前后做替换,用「元」「块」当锚点。命中率上来了,可「三万五」这种省略写法算错,被换成 3500,差十倍。又试过让模型自己改写数字,300 条里 27 条把订单号改了,风险更大。

CN = {"零": 0, "一": 1, "二": 2, "三": 3,
      "四": 4, "五": 5, "六": 6, "七": 7}
UNIT = {"十": 10, "百": 100, "千": 1000,
        "万": 10000}

def cn2num(s):
    total, cur = 0, 0
    for ch in s:
        if ch in CN:
            cur = CN[ch]
        else:
            total += (cur or 1) * UNIT[ch]
            cur = 0
    return total + cur

「三万五」要单独处理,末尾是数字且前面有万,按「三万五千」补一位。单位词也得白名单,只有后面跟元、块、万元、笔的才转,其它一律不动。订单号走另一条规则,连续数字串保留原样,不做中文转写。

改完重跑 400 条,金额错误从 31 条降到 2 条,剩下两条是「三千五百」和「三千零五十」混着说,人工复核。判断规则有没有误伤,把被替换的片段全部打印出来按频率排序,前二十条扫一眼就知道有没有把「十分」「一下」卷进去。规则存在配置表里,每周按复核结果补两条,不写死在代码里。

您可以还会对下面的文章感兴趣: