CosyVoice 2.0 二十路并发 GPU 只跑三成 流式批次怎么合

陆零云 12 0
语音播报服务上了 CosyVoice 2.0,二十路并发,GPU 利用率只有三成出头,首包 1.3 秒。单路跑的时候首包 0.6 秒,并发一上来反而更慢,显存占着 14GB,算力闲着。 第一反应是并发开太大,降到八路,首包回到 0.8 秒,利用率掉到 18%。也试过调大 worker 数,进程多了抢显存,两个进程同时加载模型直接 OOM。 看前向日志才明白,每个请求都是 batch 为 1 单独算,一次只合成一句话,GPU 的时间全花在等数据搬运上。服务端...

流式 TTS 首包 1.8 秒才出声 按 20 字切包为什么还慢

陆零云 36 0
客服的语音播报接 CosyVoice 流式接口,用户点播放到听见第一个字要 1.8 秒,长句更久。第一反应是模型推理慢,加了 GPU 还是这个数,说明瓶颈不在算力上。 在服务端打点,文本进队列到第一块音频返回只花 240 毫秒,剩下 1.5 秒全在等文本攒够。原来的逻辑是收到 80 个字才送去合成,怕断句碎。改成 20 字一包,首包降到 1.1 秒,可播出来的句子中间有明显停顿,像机器人在喘气。 试过 10 字一包,首包 0.9 秒,停顿更密,语气词全丢。...

CosyVoice 2.0 合成 3 分钟音频尾音一直丢在最后 0.4 秒

陆零云 39 0
客服播报用 CosyVoice 2.0 合成,3 分钟的开场白,最后一句「谢谢收听」只剩一个「谢」字,音频总长 179.6 秒。按语速估算应该是 180 秒出头,差的正好是结尾那 0.4 秒。 第一反应是文本末尾的句号被吞,去掉标点重跑,还是短。把 speed 从 1.0 调到 0.95,整体变慢 3 秒,尾部照样缺。又改成非流式一次返回,问题一模一样,说明不是分块拼接时最后一块没发出来。 真正的原因是采样率。模型输出按 24000 采样,我写 wav 的...