SSE 流式输出 2000 字中文断成半截 | 按字节切分怎么修

前端用 EventSource 接流式回答,本地跑没问题,上了 Nginx 之后中文偶尔变成 �,一段 2000 字的回答里出现三到五处。第一反应是前端解码写错,翻了 TextDecoder 的用法和 responseType,都没有毛病。把 curl 抓到的原始流存成文件,用 xxd 看字节,问题在服务端。

后端是 FastAPI 的 StreamingResponse,中间自己按 1024 字节切块往外写。UTF-8 里一个汉字占 3 字节,1024 除不尽,切点经常落在某个字的第二或第三个字节上,下一块开头就是残字节,前端解码器解不出来只能吐 U+FFFD。这不是网络问题,是切分单位选错了,按字节切中文迟早踩。

试过 decode 时加 errors='ignore',乱码没了但字被吃掉,2000 字丢 4 个,用户看不出来,日志对账时才发现对不上。也试过放大到 8192 字节一块,概率降低但没消失,内容够长就一定会踩。

正确做法是用增量解码器攒够完整字符再输出,跨块的残字节留在缓冲区里:

import codecs
dec = codecs.getincrementaldecoder("utf-8")()

def feed(buf):
    text = dec.decode(buf, final=False)
    if text:
        return "data: " + text + "\n\n"
    return ""

同类问题在 Node 的 SSE 实现里也遇到过,Buffer.slice 按字节切完再 toString,一样吐 U+FFFD。前后端最好约定按行或按完整字符切,别等到线上再补。

改完同一个 2000 字回答连跑 20 次,U+FFFD 计数为 0。顺带把 Nginx 的 proxy_buffering 关了,不然代理层攒包再转发,流的体感还是卡。判断修没修好别用眼睛看,对返回文本做一次 text.count('�'),这个值必须是 0。

您可以还会对下面的文章感兴趣:

暂无相关文章