UnicodeDecodeError 文件开头 0xff 解码失败 该按 utf-16 还是 gbk 打开

陆零云 31 0
运营丢过来一个 CSV,脚本第一行就炸:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start byte。文件不到 3MB,改扩展名之前是 xls,估计被 Excel 另存过一次。 先试 errors="ignore",能读但结果是空列表,等于把内容全丢了。换 gbk 报 0x81 不是合法起始字节,big5 在第三行断掉,到这里基本能确定它...

Python 3.11 读文件首行多出乱码 UTF-8 BOM 怎么清掉

陆零云 36 0
运营给了一个从 Excel 导出的 CSV,脚本读进来第一件事就报 KeyError: '\ufeffid'。字典的键看着是 id,打印 repr 是 '\ufeffid',前面多了个不可见字符。 用二进制看一眼就清楚:open('a.csv','rb').read(3) 返回 b'\xef\xbb\xbf',这是 UTF-8 的 BOM。Windows 上 Excel 另存为「CSV UTF-8」默认带,记事本存 UTF-8 也带。Python 按 ut...

pandas 读 3GB CSV 内存爆掉 分块大小和 dtype 怎么定

陆零云 31 0
3.1 GB 的订单明细 CSV,1800 万行、24 列,在 16 GB 内存的机器上 pd.read_csv 跑到一半进程就没了。dmesg 里是 Out of memory: Killed process 18422 (python3),不是 MemoryError,是内核直接杀的。 按行数估一下,默认 dtype 下整数列是 int64,8 字节一行;真正占地方的是字符串列,object 数组存指针,每个字符串对象还带 49 字节的头,一列 180...

如何在Python中快速合并具有相同列名的DataFrame

陆零云 249 0
concat横向合并时列名对不齐,数据错位怎么办横向合并(axis=1)本质是按索引对齐,不是按列名对齐。哪怕两个 DataFrame 都有 "id" 和 "name" 列,只要索引不一致,pd.concat([df1, df2], axis=1) 就会把不同行的数据强行并排,导致“张三”的年龄配上“李四”的城市。解决方法只有两个:先统一索引:df...