陆零云
27
0
一份 8 万字的行业报告丢给 gpt-4o 做摘要,接口返回 400,原文是 This model's maximum context length is 128000 tokens. However your messages resulted in 168342 tokens。我原以为 8 万字不过十来万 token,用 tiktoken 一算,cl100k 下这份文档 11.7 万 token,加上 3000 字系统提示和输出预留,正好越线。
第一版...
陆零云
27
0
给一个出海客户算成本,同一段产品说明,中文 1000 字,翻成英文 620 个单词左右。用 tiktoken 0.7.0 的 cl100k_base 数,中文 1180 个 token,英文 812 个。差距没想象中大,但按 100 万次调用算,就是 3.6 亿 token 的差。
中文没到「一个字一个 token」那么夸张,因为词表里收了大量双字词和常见搭配,「退款」「到账」这种是整块编码的。生僻一点的字会被拆成两到三个 token,一段带专业术语的中文...