流式响应 finish_reason 是 length 只输出 4096 token 怎么续写下半段

摘要任务用 gpt-4o-mini 流式输出两千多条,其中 31 条结尾停在半句。日志里最后那个 chunk 的 finish_reason 是 length,max_tokens 设的 4096,输出确实顶到 4096 才停。不是网络断,是模型被硬截断。

第一版把 max_tokens 提到 8192。截断从 31 条降到 11 条,可长报告该超还是超,单次费用接近翻倍,P95 延迟多了 6 秒。报告长度本来就不可控,调参只是把问题往后推。长报告里还有大量表格,截断点落在表格中间时,续写出来会多一行表头,后处理还得再拆一次。

第二版用了最省事的办法,把「请继续」当成新的 user 消息追加。模型从头复述一遍,前 300 字和上文重复,用户看到两遍开头。前端没做去重,直接把两段拼起来,当天就有人截图投诉。

能用的续写是把已生成片段作为 assistant 消息放回 messages,再补一条 user 的「接着写不要重复」,temperature 降到 0.3,max_tokens 保持 4096。返回文本和旧文本做最长公共前缀对齐,把重叠部分切掉再拼。

def merge(old, new):
    m = min(len(old), len(new))
    for i in range(m, 0, -1):
        if old.endswith(new[:i]):
            return old + new[i:]
    return old + new

对齐不能只比开头。有的模型先补一句「好的」,公共前缀为 0,硬拼会出现两个句号。加一条规则,新文本先去掉开头 10 个字以内的过渡词再比对,命中率从 62% 提到 89%。

重跑那 31 条,27 条续一次就收尾,4 条续两次仍然顶格,转人工补结尾。判断修没修好别只盯 finish_reason,把最终文本最后 20 个字符打出来看有没有句号,这个检查比翻日志快。续写也要计费,31 条里多花了 0.6 元,和人工补结尾比还是划算。

您可以还会对下面的文章感兴趣: