OpenAI:cached_tokens 一直是 0 前缀缓存怎么才命中

陆零云 33 0
系统提示固定 3200 token,账单里 cached_tokens 一直是 0,200 次请求没有一次命中,等于每次都在按原价付输入费。代码里 messages 第一条确实是 system,我一开始以为前缀放错位置了。 把日期从 system 挪到 user,重跑还是 0。查文档才注意到两个硬条件:前缀至少要 1024 token,而且必须逐字节一致。我们的 system 里拼了当前时间和请求 id,每一条都不一样,缓存键根本对不上。 改法是把动态内容...