一份 8 万字文档喂进去报 context_length_exceeded 每块 3000 token 怎么切

一份 8 万字的行业报告丢给 gpt-4o 做摘要,接口返回 400,原文是 This model's maximum Context length is 128000 tokens. However your messages resulted in 168342 tokens。我原以为 8 万字不过十来万 token,用 tiktoken 一算,cl100k 下这份文档 11.7 万 token,加上 3000 字系统提示和输出预留,正好越线。

第一版按字符切,每 4000 字一块,切完喂进去还是报同样的错。原因是文档里有大段英文参数表和 URL,中英混排下 4000 字能到 6800 token。字符数不等于 token 数,这一步必须用 tokenizer 算,拿 len(text) 估算是自欺欺人。

第二版直接按 token 切,3000 token 一块,重叠 300,结果把一张 40 行的参数表从中间劈开,模型读到半张表,回答里出现了不存在的型号。后来改成结构化切分:先按 markdown 标题切到小节,小节超过 3000 token 再在段落边界切,段落还超才硬切。表格整块保留,超过上限就单独成块并在块头补一行表名。

块头带章节路径还有一个好处,检索命中后能直接告诉用户这段话出自哪一节,回链也好拼。代码里把切分和预算绑在一起,输出留 800 token,超了就再降一档:

enc = tiktoken.get_encoding("cl100k_base")

def split(text, size=3000, overlap=300):
    ids = enc.encode(text)
    step = size - overlap
    for i in range(0, len(ids), step):
        yield enc.decode(ids[i:i + size])

12 篇最长文档跑下来,最大块 2960 token,最小 410 token,没有再触发 400。判断切分够不够用别只看平均值,先看最大块,再额外留 15% 余量给系统提示,这个余量后来改版时救过一次。

您可以还会对下面的文章感兴趣: