中文 1000 字转英文后 token 差多少 计费到底怎么算

陆零云 27 0
给一个出海客户算成本,同一段产品说明,中文 1000 字,翻成英文 620 个单词左右。用 tiktoken 0.7.0 的 cl100k_base 数,中文 1180 个 token,英文 812 个。差距没想象中大,但按 100 万次调用算,就是 3.6 亿 token 的差。 中文没到「一个字一个 token」那么夸张,因为词表里收了大量双字词和常见搭配,「退款」「到账」这种是整块编码的。生僻一点的字会被拆成两到三个 token,一段带专业术语的中文...