Whisper 自动检测把粤语转成日文 2.4 小时录音怎么强制中文

2.4 小时的粤语客服录音,交给 whisper 转写,出来一半是日文汉字,一句道谢被写成日文敬语。人工抽五十条核对,字符错误率三成八。

第一反应是模型太小,从小模型换到最大版本,错字少了些,仍然是日文。把温度参数从零调到 0.2 再跑,输出更飘,问题没动。又把提示词写成以下是普通话,模型开始输出书面语,口语里的语气词全变成的、了这类书面表达,客服质检要的是原话,这一项不能加。

单独调语种检测,前三十秒返回日语,置信度 0.63,中文只有 0.31。粤语和日语在高频段有重叠,前三十秒又正好是音乐加零星人声,检测一锁死,后面整段都按日语解码,中间出现普通话也不改。

办法是强制中文,同时关掉上文条件,避免前一段的错误把后一段带偏;再把音频按人声检测切成三十秒以内的小段,每段单独转写,段首重新检测,纯音乐段直接丢掉不送模型。

segs, info = model.transcribe(
    path,
    language="zh",
    task="transcribe",
    condition_on_previous_text=False,
    vad_filter=True,
)
print(info["language"], info["language_probability"])

录音质量也影响很大。有一批坐席用的耳麦底噪重,人声检测把整段判成噪音,切出来全是空的。后来在检测前加了一道高通滤波,把两百赫兹以下的低频切掉,这批判空的比例从一成七降到两个点。

重跑同一批录音,字符错误率从三成八降到 9.4%,日文混入从四成一降到 0.7%。代价是速度慢一成半,人声检测本身要扫一遍音频。

判断语种检测有没有生效,把每段的信息打出来看语种和概率,出现日语的段挑出来单独听,比看整体错误率快得多。还有一处容易漏,切段之后时间戳要按偏移量加回去,不然字幕整体前移,客服回听对不上号。

您可以还会对下面的文章感兴趣: