UnicodeDecodeError 文件开头 0xff 解码失败 该按 utf-16 还是 gbk 打开

运营丢过来一个 CSV,脚本第一行就炸:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte。文件不到 3MB,改扩展名之前是 xls,估计被 Excel 另存过一次。

先试 errors="ignore",能读但结果是空列表,等于把内容全丢了。换 gbk 报 0x81 不是合法起始字节,big5 在第三行断掉,到这里基本能确定它不是任何单字节或双字节的 ANSI 编码。

用 xxd 看前 16 个字节,开头是 ff fe 7b 00 22 00,ff fe 正是 UTF-16 LE 的 BOM,后面每两个字节才是一个字符。ASCII 内容被写成 7b 00 这种形态,按 utf-8 读第一个字节就非法,报错位置停在 0 很正常。

改成 encoding="utf-16" 一次读通,BOM 会被自动吃掉,不用手动 lstrip。之前 ignore 那版之所以是空的,是因为 0x00 被当成坏字节全丢,剩下的半截拼不成行。

顺手踩到第二个坑,这个文件的分隔符是制表符不是逗号,csv.reader 用默认逗号会把整行读成一列。加 delimiter 参数才对。编码和分隔符是两件事,先修哪个都会看到读到了但不对的假象。

确认口径:行数 10486 与 Excel 里看到的一致;第一行表头 12 个字段;随机抽 20 行和源文件逐字比对无差异;再转存一份 UTF-8,之后所有下游都读那一份。

with open("export.csv", encoding="utf-16") as f:
    rows = list(csv.reader(f, delimiter="\t"))
# 开头 ff fe 是 UTF-16 LE 的 BOM
print(len(rows), rows[0][:3])

您可以还会对下面的文章感兴趣: