Whisper 转写 120 分钟中文标点全丢 后处理怎么补

用 faster-whisper 1.0.3 加 large-v3 转 120 分钟的访谈录音,出来的文字一个标点都没有,整段连成一行,人工校对要重听一遍断句。language 设的 zh,task 是 transCribe,beam_size 5,vad_filter 开着。英文素材同样参数是有标点的,说明不是模型不会断句,是中文输出习惯。

先试 initial_prompt,塞一句「以下是普通话的句子,请加上标点。」,标点回来一部分,主要是逗号和问号,句号还是缺。这个参数是给模型一个上文示范,超过 224 token 会被截断,写太长没有意义。

vad_filter 是个隐藏因素。它把长音频切成 30 秒以内的片段分别解码,每段结尾的句号很容易丢,拼接时又直接用空格连。把 vad_filter 关掉,标点完整度高一些,代价是长静音段会 halluciNATe,反复出现「谢谢观看」。

import re

def fix_punc(segments):
    out = []
    for s in segments:
        t = s.text.strip()
        if not t:
            continue
        t = re.sub(r"[,;:?!]", lambda m: {
            ",": ",", ";": ";", ":": ":",
            "?": "?", "!": "!"}[m.group()], t)
        if not re.search(r"[。!?]$", t):
            t += "。"
        out.append(t)
    text = "".join(out)
    return re.sub(r"。{2,}", "。", text)

后处理是最后的保障。按 segment 拼接时,末尾没有终止符就补句号;半角标点统一转全角;连续两个句号合并。再叠一层轻量的标点模型做句子级重切,用的是 ct-punc,中文新闻语料训练的,2 万字符大概 3 秒。

验收方式抽 10 分钟人工听,数句子边界对不对。纯规则补句号能对 70% 左右,加了标点模型到 92%,剩下的错集中在口语停顿和列举。这块我没继续抠,访谈稿本来就要人工过一遍。

素材本身带背景音乐的话,建议先用 demucs 分离人声再转写。我这边测过一版,字错率从 18% 降到 9%,标点也跟着准了,模型不用再分心去识别噪声里的词。

您可以还会对下面的文章感兴趣: