客服的语音播报接 CosyVoice 流式接口,用户点播放到听见第一个字要 1.8 秒,长句更久。第一反应是模型推理慢,加了 GPU 还是这个数,说明瓶颈不在算力上。
在服务端打点,文本进队列到第一块音频返回只花 240 毫秒,剩下 1.5 秒全在等文本攒够。原来的逻辑是收到 80 个字才送去合成,怕断句碎。改成 20 字一包,首包降到 1.1 秒,可播出来的句子中间有明显停顿,像机器人在喘气。
试过 10 字一包,首包 0.9 秒,停顿更密,语气词全丢。也试过整句一次合成再切片,延迟回到 1.6 秒,等于没改。
换方案是按标点切,不用固定字数。逗号顿号处最多 15 字,句号问号处最多 30 字,第一包强制不超过 12 字,保证最快出声。切完的片段带序号,前端按序播放,遇到空片段直接跳过。
文本入口也改了。原来等大模型整段生成完再交给 TTS,现在按流式 token 边收边切,收到标点就推一包,模型还在写下一句时第一段已经合成完。两边的缓冲各留一包,避免音画不同步。
音频格式也拖了后腿。原来返回 wav,前端要等整块下载完才能播,换成 16 位单声道 PCM 裸流,配合 Web Audio 的 AudioBufferSourceNode 边收边排,首播又快了 90 毫秒。
服务端再加一步预热:进程启动时先合成 3 秒空白音频,把模型和声码器都加载进显存,避免第一个真实请求吃冷启动。这一步把首包又压了 180 毫秒。
确认:线上采样 1000 次,首包 P50 0.72 秒、P95 1.3 秒;人工听 50 条,断句位置都落在标点上;连续播放 10 分钟没有卡顿和重复片段。
def split(text):
out, buf, limit = [], "", 12
for ch in text:
buf += ch
stop = ch in "。?!" or len(buf) >= limit
if ch in ",、;" and len(buf) >= limit - 4:
stop = True
if stop:
out.append(buf)
buf, limit = "", 30
if buf:
out.append(buf)
return out 