录音 8000 Hz 喂给 16000 Hz 模型 识别全乱 重采样怎么写

客服通话的离线转写,上游给的是裸 PCM,16 位小端、单声道,我们按 16000 Hz 直接塞进 ASR 模型。转写出来的文本大段错字,语速听着快了一倍,时间戳整体偏移,十分钟的录音只出五分钟的字。

第一反应是模型不行,从 base 换到 large-v3,错字少了些,语速还是不对。又怀疑前端录音参数,查了录音端配置是 8000 Hz,电话线路本来就是 8k 采样。也就是说字节流一直是 8k,我们却按 16k 解释,样本点被当成两倍速播放。

试过在模型侧改采样率参数,接口只接受文件,不认这个字段,传了也被忽略。又试过直接复制样本点做线性插值,音量正常了,齿音糊成一片,错字率只从 42% 降到 31%。

换成 ffmpeg 先落成 wav 再送:指定输入格式 s16le、8000 Hz、单声道,输出 16000 Hz。重采样换成默认的 soxr 算法,再加一道 300 Hz 高通滤掉电话线路的电流声。同一批 50 条录音重跑,字错率降到 8%,时间戳与实际说话位置差不到 0.3 秒。

双声道的录音要先下混成单声道,命令里不写 -ac 1,模型会把左右声道叠成回声,转写结果里同一句话出现两遍。这条是后来在另一批客服数据上踩到的,和采样率是两回事。

确认方式是对着人工标注的 20 条逐句比对,标点位置和断句都回来了;再把 8k 和 16k 两条链路的结果并排看,同一句话的字数差从 1.9 倍回到 1.02 倍。模型没换,问题从头到尾都在采样率。

subprocess.run([
    'ffmpeg', '-f', 's16le', '-ar', '8000',
    '-ac', '1', '-i', 'in.pcm',
    '-ar', '16000', '-ac', '1',
    '-af', 'highpass=f=300', 'out.wav',
], check=True)

您可以还会对下面的文章感兴趣: