bge-reranker 输入 512 token 长段落前 300 字被丢怎么切 陆零云 2026-11-14 09:32:47 22 0 知识库的段落平均九百字,重排模型的词表上限五百一十二,代码里直接开了截断。离线评测前十归一化折损只有 0.76,把同一批候选换成人工看,前三条明显该排第一的段落被压到第五。打印 token 才发现,长段落的后半段根本没进模型。 第一反应是把上限提到一千零二十四,批大小从十六降到四,单条一百二十毫秒涨到三百八十毫秒,显存也从 1.1G 涨到 2.3G,和生成模型挤在一张卡上又开始报显存溢出。更麻烦的是模型训练时就是五百一十二,硬拉长后分数分布变了,短段落反而...