CosyVoice 2.0 二十路并发 GPU 只跑三成 流式批次怎么合

语音播报服务上了 CosyVoice 2.0,二十路并发,GPU 利用率只有三成出头,首包 1.3 秒。单路跑的时候首包 0.6 秒,并发一上来反而更慢,显存占着 14GB,算力闲着。

第一反应是并发开太大,降到八路,首包回到 0.8 秒,利用率掉到 18%。也试过调大 worker 数,进程多了抢显存,两个进程同时加载模型直接 OOM。

看前向日志才明白,每个请求都是 batch 为 1 单独算,一次只合成一句话,GPU 的时间全花在等数据搬运上。服务端收请求是逐条来的,中间没有攒批的环节。

def gather(q, n=8, wait=0.03):
    batch, t0 = [], time.time()
    while len(batch) < n:
        try:
            batch.append(q.get(timeout=wait))
        except Empty:
            break
        if time.time() - t0 > 0.08:
            break
    return batch

加了一个攒批队列,最多等 80 毫秒,凑够八条就一起前向。同一个音色、同一个采样率的才能合批,混采样率会触发重采样,白干。参考音频的 embedding 做缓存,按音色 id 存,省掉每批重复编码的 90 毫秒。

改完二十路并发下利用率到 68%,首包 0.9 秒,单卡能扛到四十八路。等待时间可以调,80 毫秒对播报能接受,实时对话场景只敢给 20 毫秒,否则用户会觉得卡。

判断攒批有没有生效,别看平均延迟,看每批的实际条数分布。日志里 batch=1 的请求从九成降到一成二,剩下的是长尾单条。批也不是越大越好,八条以上显存峰值涨得快,24GB 的卡到十六条就开始吃紧。等待上限也要跟着并发改,二十路时 80 毫秒刚好,四十路得收窄到 40 毫秒。

您可以还会对下面的文章感兴趣: