检索片段按 512 字符切开后答非所问 拼接顺序怎么排

陆零云 24 0
客服机器人上线两周,用户问「退款多久到账」,它答的是「运费险在 7 个工作日内退回」。知识库里明明有退款时效那一条,召回 top6 里排第 4。把那段单独贴给模型,回答完全正确。问题不在检索,在拼接。 原来的代码把 6 段 chunk 按分数从高到低塞进 prompt,中间用三个横线分隔,没编号也没来源。chunk 512 字符、overlap 64,bge-m3 做向量,bge-reranker-base 重排。翻了 30 条 badcase,一半是答案...

如何构建可落地的 LLM 测试评估体系

陆零云 203 0
构建 LLM 评估体系之前,有一个问题必须先回答清楚:你的系统输出,是确定性的还是概率性的?这不是废话。大多数团队踩坑的根源,就在于把一个概率系统当确定性系统来评估。传统软件测试的核心假设是“相同输入,相同输出”。这个假设在 LLM 上完全不成立。同一条 prompt,温度参数 0.7,跑十次,你会得到十个不同的回答,质量分布可能从 0.6 到 0.95 都有。所以,你评估的不是“这个输出对不对”,而是“这个系统在什么样的概率分布下工作”。这个认知是整套体...