陆零云
34
0
月底对账发现平台账单比自己记的高三成。翻统计代码,流式接口每个 chunk 的 usage 打出来都是 null,最后汇总成 0,等于只记了请求数没记 token。
第一反应是 SDK 版本旧,升到 openai 1.40 还是一样。查文档才知道流式默认不返回用量,要显式传 stream_options 里的 include_usage 为 true,服务端会在最后补一个 chunk,choices 是空数组,usage 挂在那个 chunk 上。
加上参...
陆零云
50
0
自建 LLM 网关前面挂 Nginx,SSE 接口在 61 秒左右必断,浏览器 EventSource 收到 504 后自动重连,用户看到回答从头再吐一遍。后端日志显示请求还在跑,模型到 90 秒才生成完。
Nginx error.log 里是 upstream timed out (110: Connection timed out) while reading response header from upstream。注意是 header 不是 bo...
陆零云
38
0
现象
前端用 EventSource 订阅 /api/chat,回答输出到一半就断,浏览器控制台报 502 Bad Gateway,随后自动重连,但新一轮请求又从第一句话开始,用户看到的是重复内容。
原因
SSE 是长连接,Nginx 默认会缓冲上游响应,等缓冲区攒满才发给浏览器,看起来像卡住;proxy_read_timeout 默认 60 秒,模型思考时间一长就被切断。后端如果走 PHP-FPM,request_terminate_timeout 也会...
陆零云
30
0
现象
页面用 EventSource 订阅服务端推送,跑一段时间后连接悄悄断开,控制台没有任何报错,onerror 只触发一次就再也不重连,消息面板停在最后一条,只有刷新页面才恢复。服务端日志里能看到连接被关闭,但客户端没有发起新的请求。
原因
浏览器对 SSE 的自动重连带明确规则:收到 HTTP 204 会停止重连,收到非 200 状态或者错误的 Content-Type 也会关闭连接。网关超时、会话过期时服务端返回 204 或 502,客户端就再也不...