流式响应 finish_reason 是 length 只输出 4096 token 怎么续写下半段

陆零云 36 0
摘要任务用 gpt-4o-mini 流式输出两千多条,其中 31 条结尾停在半句。日志里最后那个 chunk 的 finish_reason 是 length,max_tokens 设的 4096,输出确实顶到 4096 才停。不是网络断,是模型被硬截断。 第一版把 max_tokens 提到 8192。截断从 31 条降到 11 条,可长报告该超还是超,单次费用接近翻倍,P95 延迟多了 6 秒。报告长度本来就不可控,调参只是把问题往后推。长报告里还有大...