前端用 EventSource 接流式回答,本地跑没问题,上了 Nginx 之后中文偶尔变成 �,一段 2000 字的回答里出现三到五处。第一反应是前端解码写错,翻了 TextDecoder 的用法和 responseType,都没有毛病。把 curl 抓到的原始流存成文件,用 xxd 看字节,问题在服务端。
后端是 FastAPI 的 StreamingResponse,中间自己按 1024 字节切块往外写。UTF-8 里一个汉字占 3 字节,1024 除不尽,切点经常落在某个字的第二或第三个字节上,下一块开头就是残字节,前端解码器解不出来只能吐 U+FFFD。这不是网络问题,是切分单位选错了,按字节切中文迟早踩。
试过 decode 时加 errors='ignore',乱码没了但字被吃掉,2000 字丢 4 个,用户看不出来,日志对账时才发现对不上。也试过放大到 8192 字节一块,概率降低但没消失,内容够长就一定会踩。
正确做法是用增量解码器攒够完整字符再输出,跨块的残字节留在缓冲区里:
import codecs
dec = codecs.getincrementaldecoder("utf-8")()
def feed(buf):
text = dec.decode(buf, final=False)
if text:
return "data: " + text + "\n\n"
return ""
同类问题在 Node 的 SSE 实现里也遇到过,Buffer.slice 按字节切完再 toString,一样吐 U+FFFD。前后端最好约定按行或按完整字符切,别等到线上再补。
改完同一个 2000 字回答连跑 20 次,U+FFFD 计数为 0。顺带把 Nginx 的 proxy_buffering 关了,不然代理层攒包再转发,流的体感还是卡。判断修没修好别用眼睛看,对返回文本做一次 text.count('�'),这个值必须是 0。
