陆零云
22
0
知识库的段落平均九百字,重排模型的词表上限五百一十二,代码里直接开了截断。离线评测前十归一化折损只有 0.76,把同一批候选换成人工看,前三条明显该排第一的段落被压到第五。打印 token 才发现,长段落的后半段根本没进模型。
第一反应是把上限提到一千零二十四,批大小从十六降到四,单条一百二十毫秒涨到三百八十毫秒,显存也从 1.1G 涨到 2.3G,和生成模型挤在一张卡上又开始报显存溢出。更麻烦的是模型训练时就是五百一十二,硬拉长后分数分布变了,短段落反而...
陆零云
27
0
一台 4090 上跑 vLLM 服务 Qwen2.5-7B,已经吃掉 20GB,再加载 bge-reranker-large 做精排,进程直接抛 CUDA out of memory. Tried to allocate 2.00 GiB。把 max_length 从 512 降到 256,batch 从 16 降到 4,还是崩,剩余显存不到 1.8GB,large 这版 fp16 权重加激活就要 2.6GB。
试过把 reranker 放 CPU,单条...