OpenAI 流式 usage 一直是 0 计费少算三成怎么补

陆零云 34 0
月底对账发现平台账单比自己记的高三成。翻统计代码,流式接口每个 chunk 的 usage 打出来都是 null,最后汇总成 0,等于只记了请求数没记 token。 第一反应是 SDK 版本旧,升到 openai 1.40 还是一样。查文档才知道流式默认不返回用量,要显式传 stream_options 里的 include_usage 为 true,服务端会在最后补一个 chunk,choices 是空数组,usage 挂在那个 chunk 上。 加上参...

Nginx 反代 SSE 60 秒断成 504 | 缓冲和读超时怎么分开查

陆零云 50 0
自建 LLM 网关前面挂 Nginx,SSE 接口在 61 秒左右必断,浏览器 EventSource 收到 504 后自动重连,用户看到回答从头再吐一遍。后端日志显示请求还在跑,模型到 90 秒才生成完。 Nginx error.log 里是 upstream timed out (110: Connection timed out) while reading response header from upstream。注意是 header 不是 bo...

SSE 流式响应 502 中断后前端不重连怎么排查

陆零云 38 0
现象 前端用 EventSource 订阅 /api/chat,回答输出到一半就断,浏览器控制台报 502 Bad Gateway,随后自动重连,但新一轮请求又从第一句话开始,用户看到的是重复内容。 原因 SSE 是长连接,Nginx 默认会缓冲上游响应,等缓冲区攒满才发给浏览器,看起来像卡住;proxy_read_timeout 默认 60 秒,模型思考时间一长就被切断。后端如果走 PHP-FPM,request_terminate_timeout 也会...

EventSource 断线后不重连 接口返回 204 是为什么

陆零云 30 0
现象 页面用 EventSource 订阅服务端推送,跑一段时间后连接悄悄断开,控制台没有任何报错,onerror 只触发一次就再也不重连,消息面板停在最后一条,只有刷新页面才恢复。服务端日志里能看到连接被关闭,但客户端没有发起新的请求。 原因 浏览器对 SSE 的自动重连带明确规则:收到 HTTP 204 会停止重连,收到非 200 状态或者错误的 Content-Type 也会关闭连接。网关超时、会话过期时服务端返回 204 或 502,客户端就再也不...