中文 1000 字转英文后 token 差多少 计费到底怎么算

给一个出海客户算成本,同一段产品说明,中文 1000 字,翻成英文 620 个单词左右。用 tiktoken 0.7.0 的 Cl100k_base 数,中文 1180 个 token,英文 812 个。差距没想象中大,但按 100 万次调用算,就是 3.6 亿 token 的差。

中文没到「一个字一个 token」那么夸张,因为词表里收了大量双字词和常见搭配,「退款」「到账」这种是整块编码的。生僻一点的字会被拆成两到三个 token,一段带专业术语的中文,我这边测下来能到 1.6 倍。

英文反过来,常用词一个 token,长单词和代码标识符会碎成好几个。JSON 里的字段名和 URL 特别费 token,一个 60 字符的链接能吃掉 40 多个。

import tiktoken

enc = tiktoken.get_encoding("cl100k_base")
zh = open("zh.txt", encoding="utf-8").read()
en = open("en.txt", encoding="utf-8").read()

n_zh = len(enc.encode(zh))
n_en = len(enc.encode(en))
print(len(zh), n_zh, len(zh) / n_zh)
print(len(en), n_en)
# 按 100 万次调用估算输入成本
print((n_zh - n_en) * 1_000_000 / 1e6 * 2.5)

计费只看输入输出的 token 总和,不看字符。用字符数估成本,中文场景会低估 20% 到 40%,英文场景会高估。真要做预算,就把历史请求的 prompt 全跑一遍 encode,取 P50 和 P95,别用平均值,长尾那批请求才是账单爆掉的原因。

还有个容易忽略的点:多轮对话每轮都要把历史重新发一遍,token 是累加的。10 轮问答,第 10 轮的实际输入是前 9 轮的重复。我给的方案是超过 6 轮做摘要压缩,压完再算,账单降了将近一半。

另一个经常算错的地方是 system prompt 和工具定义。函数调用的每个 JSON Schema 都算输入 token,一个带 8 个参数的函数说明大概 120 token,挂 10 个工具就是 1200 token,每轮都要重发。有些请求字符数才 300,实际输入到 2000 多,账就是这么上去的。

做预算时我还留了 15% 余量,给超长输入和重试带来的重复计费。这个比例不是拍脑袋,是拿一个月的账单和预估逐项比出来的。

您可以还会对下面的文章感兴趣: