TGI 2.0 的 batching 显存浪费 42% 长度分桶怎么排

TGI 2.0.1 部署 Qwen2.5-7B,A10 24G,预填充批上限四千零九十六,总批上限八千一百九十二。压测二百并发,日志里填充比例 42%,吞吐只有 620 token/s,显卡利用率在 55% 上下晃。请求长度从二十 token 到一千八百 token 混在一起,短请求被长请求的填充拖住。

第一反应是加批,把总批上限提到一万六千三百八十四,填充比例升到 51%,吞吐反而掉到 580。又试着在客户端按先来后到发,短请求排在前面的时段利用率高,一到长文高峰就塌。抓了五千条请求的长度分布,中位数九十六,长尾一千四,差距太大,混批注定浪费。

改成两层队列。入口先按 token 长度分桶,每一百二十八一个桶,桶内按到达时间排;调度器每次从同一个桶取满一批,桶空超过二百毫秒就降级取相邻桶。这样同一批的填充最多一百二十七个 token,长请求也不会饿死。服务端把总批上限收回到六千一百四十四,给缓存留空间。

def bucket(rows, step=128):
    buckets = {}
    for r in rows:
        k = len(r["ids"]) // step
        buckets.setdefault(k, []).append(r)
    return [r for k in sorted(buckets)
            for r in buckets[k]]

上线后填充比例从 42% 降到 6%,吞吐 940 token/s,尾延迟从 3.6 秒降到 1.9 秒。短请求的首 token 中位 180 毫秒,长文也没变慢。显卡利用率稳定在 78%,风扇声音都大了一档。

分桶也有代价。桶边界上的请求会多等一个调度周期,实测长尾多了九十毫秒;流式接口如果先到的是长文,短请求最多等二百毫秒才降级。我把降级阈值做成配置,白天一百五十毫秒,夜里四百毫秒,夜里流量低,多等一点换更高的批处理效率。

验证方法不复杂。把每批的实际 token 数和填充数打到监控,两个值的比值就是浪费率。改完连续看三天,浪费率没有再超过 8%,才算收工。若只看吞吐不看这个比值,很容易被某一时段的长文拉高平均值。

您可以还会对下面的文章感兴趣:

暂无相关文章