20 分钟的会议录音 1800 秒,用 faster-whisper 的 large-v3 整段转写,导出的 srt 前 5 分钟跟音频对得上,最后一段字幕比说话晚 8 秒,越往后偏得越多。
第一反应是模型幻觉,检查文本没有重复也没有漏句,只是时间戳整体后移。换成 medium 偏差小一点但仍然存在,说明跟模型大小无关,是时间轴在累加。
翻实现才明白,整段输入时内部按 30 秒窗口切,每个窗口单独预测时间戳,误差在 60 个窗口里累积;再加上开了 VAD,静音段被裁掉,时间戳按裁剪后的音频算,和原音频对不上。
试过关掉 VAD,漂移从 8 秒降到 3 秒,仍不达标,而且静音段会出现重复句子。Condition_on_previous_text 设 False 能减少重复,代价是上下文断裂,专业术语前后不一致。
最后改成自己切块:先用 VAD 拿到语音段,按 30 秒边界合并成块,每块单独转写,块内时间戳加上该块的绝对偏移,静音段保留长度不参与识别。合并时按 200 毫秒重叠区去重,避免句子被切两半。
VAD 的最小静音阈值也有讲究,默认 500 毫秒会把句间停顿切开,换成 300 毫秒后切块数量翻倍,整体慢 30%,只在 8 分钟以上的音频用。
确认:末段时间戳与人工标记差 0.6 秒以内,全片 214 句没有重复,导入播放器点字幕能对上画面。
for chunk in chunks:
segs, _ = model.transcribe(chunk.audio, language='zh')
for s in segs:
s.start += chunk.offset
s.end += chunk.offset 