系统提示固定 3200 token,账单里 Cached_tokens 一直是 0,200 次请求没有一次命中,等于每次都在按原价付输入费。代码里 messages 第一条确实是 system,我一开始以为前缀放错位置了。
把日期从 system 挪到 user,重跑还是 0。查文档才注意到两个硬条件:前缀至少要 1024 token,而且必须逐字节一致。我们的 system 里拼了当前时间和请求 id,每一条都不一样,缓存键根本对不上。
改法是把动态内容全部挪出前缀,system 只留规则、输出格式和三条 few-shot,时间、用户名、session 都放进 user。前缀长度确认 1280 token,过了 1024 的门槛,顺序也不能变,中间插一行空行都会让后面的缓存失效。
上线当天 cached_tokens 从 0 变成 1152。这里有个容易误读的地方,prompt_tokens 仍然是 3200,缓存的部分只是打折不是不计数,看账单要盯 cached_tokens 和单价,别只看总量。
确认:连续 20 次请求,第 1 次是 0,第 2 次起稳定 1152;再故意改 system 里的一个空格,立刻回到 0,说明缓存确实按前缀匹配。抽样一周账单,输入成本比改前低 38%。
messages = [
{"role": "system", "content": FIXED_RULES},
{"role": "user", "content": f"{today}
{question}"},
]
r = client.chat.completions.create(
model="gpt-4o-mini", messages=messages)
d = r.usage.prompt_tokens_details
print(r.usage.prompt_tokens, d.cached_tokens) 