Python 3.11 读文件首行多出乱码 UTF-8 BOM 怎么清掉

运营给了一个从 Excel 导出的 CSV,脚本读进来第一件事就报 KeyError: '\ufeffid'。字典的键看着是 id,打印 repr 是 '\ufeffid',前面多了个不可见字符。

用二进制看一眼就清楚:open('a.csv','rb').read(3) 返回 b'\xef\xbb\xbf',这是 UTF-8 的 BOM。Windows 上 Excel 另存为「CSV UTF-8」默认带,记事本存 UTF-8 也带。Python 按 utf-8 解码时只是把它当成普通字符 \ufeff 留在字符串开头。

最先想到 lstrip('\ufeff'),结果只处理了表头,第二行开始又冒出来一份。这份 CSV 是三个部门各自导出再拼起来的,拼的人直接 cat,中间的 BOM 全留了下来。

raw = open('a.csv', 'rb').read(3)
print(raw)   # b'\xef\xbb\xbf'

text = open('a.csv', encoding='utf-8-sig').read()
print(repr(text[:6]))   # "'id,na"

# utf-8-sig 只管开头 中间残留的要手动清
text = text.replace('\ufeff', '')

utf-8-sig 只在解码时吃掉开头那一个 BOM,中间的不动,所以拼接文件还得 replace 一遍。pandas 的 read_csv 我这边 2.1.4 会自动跳过行首 BOM,同一个文件用 pd.read_csv 读,列名是干净的 id。这也解释了为什么之前用 pandas 分析没发现,换成 csv 模块才暴露。

另有一类乱码要分清:读出来是「锟斤拷」,那是 GBK 被当 UTF-8 解的结果,原文还能救;读出来一串问号,是解码时用了 errors='replace' 把无法映射的字符丢了,那种不可恢复,只能让对方重导一遍。

现在 reader 函数里加了一步:读之前先看前三个字节,命中 BOM 就用 utf-8-sig,否则按 utf-8 试,抛 UnicodeDecodeError 再退 gb18030。两个调用方都走这个函数,改动只有一处。

您可以还会对下面的文章感兴趣: