TGI 2.0 的 batching 显存浪费 42% 长度分桶怎么排 陆零云 2026-11-13 09:48:10 29 0 TGI 2.0.1 部署 Qwen2.5-7B,A10 24G,预填充批上限四千零九十六,总批上限八千一百九十二。压测二百并发,日志里填充比例 42%,吞吐只有 620 token/s,显卡利用率在 55% 上下晃。请求长度从二十 token 到一千八百 token 混在一起,短请求被长请求的填充拖住。 第一反应是加批,把总批上限提到一万六千三百八十四,填充比例升到 51%,吞吐反而掉到 580。又试着在客户端按先来后到发,短请求排在前面的时段利用率高,一...