max_tokens 4096 截断后系统提示先丢 | 消息顺序怎么保

陆零云 29 0
客服对话到第 18 轮开始答非所问,问退款政策,模型回了一段无关的产品介绍。把发给接口的 messages 打出来,第一条不是 system,系统提示在裁剪历史时被 pop 掉了。代码写的是 while count(messages) > 4096: messages.pop(0),system 恰好在索引 0。 改成保留索引 0 再裁,新的问题来了,最近三轮被裁掉,模型记不住用户刚说的订单号。因为从头部删消息,越新的越容易被误伤。也试过从尾部删,直...