CosyVoice 2.0 二十路并发 GPU 只跑三成 流式批次怎么合

陆零云 12 0
语音播报服务上了 CosyVoice 2.0,二十路并发,GPU 利用率只有三成出头,首包 1.3 秒。单路跑的时候首包 0.6 秒,并发一上来反而更慢,显存占着 14GB,算力闲着。 第一反应是并发开太大,降到八路,首包回到 0.8 秒,利用率掉到 18%。也试过调大 worker 数,进程多了抢显存,两个进程同时加载模型直接 OOM。 看前向日志才明白,每个请求都是 batch 为 1 单独算,一次只合成一句话,GPU 的时间全花在等数据搬运上。服务端...