日志采集脚本跑在 Python 3.11.7 上,每天 6 点处理 12 万行 IIS 日志,open 时写死 enCoding="gbk"。周一直接报 UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 1023,整批日志卡住,下游报表空了 4 小时。
第一反应是文件被写坏了。用 file 看结果是 ISO-8859 text,不是纯 GBK。又怀疑编码写错,改成 utf-8 重跑,这次报 0xe4 位置错。两次报错拼起来才明白,文件以 GBK 为主,中间混进了几行 UTF-8。
试 errors="ignore",跑是跑通了,抽 20 行和原文件对照,1200 多个汉字被吞掉,「下单」变成「单」,报表口径直接错。换成 errors="replace",那几行变成一片问号,一样不能用。
最后改成按行二进制读:先按 gbk 严格解,失败再试 utf-8,两边都不行才 replace,并把行号写进 bad.log。41 行走最后一条分支,人工补录花了 15 分钟,其余全部无损。
中途发现那个 0x80 是第三方模块按 GB18030 写进来的,切到 gb18030 之后坏行从 41 降到 3。gb18030 是 GBK 的超集,能多解一批字节,代价只是解码慢一点,对 12 万行来说可以忽略。
确认口径:全量 12 万行 8 秒跑完,bad.log 只剩 3 行;抽 500 行和原文件逐字比对没有差异;再把这 3 行手工补进库,当天报表总数和上游接口对得上。
def decode_line(raw):
for enc in ("gb18030", "utf-8"):
try:
return raw.decode(enc), enc
except UnicodeDecodeError:
pass
return raw.decode("gb18030", "replace"), "mixed" 