用 datasets 2.19 加载自己整理的 3200 条微调数据,跑到第三个 epoCh 突然炸了,报 JSONDecodeError: Expecting value: line 3 column 1 (char 42)。前面两个 epoch 都正常,loss 也降到 1.8,说明模型那边没问题,坏的是数据。
第一反应是 BOM。file 一下输出 UTF-8 Unicode text,没有 BOM;用 python 读第一行也正常。后来 wc -l 数出 3201 行,而我导出时明明显示 3200 条,tail 一看,第 2 条和第 3 条之间夹了一个空行,应该是用 cat 拼两个文件时,前一个文件末尾自带换行。
试过在 load_dataset 外面套 try/except 把异常吞掉,脚本能起来,可 tokenize 之后样本索引整体错位,第 800 步 loss 从 1.7 直接跳到 3.4,只能回滚。也试过 pandas.read_json(lines=True),它会把空行当分隔符跳过,表面能读,但样本数少了一条,日志里完全没有提示,这种静默丢数据比报错更难查。
jq -c . train.jsonl 的输出很直接:parse error: Expected value at line 3 column 1,和我看到的报错完全对得上。问题定位到这里就清楚了,训练框架没错,是我拼文件时多写了一个换行。
改法放在数据预处理,不放在训练脚本里。逐行 strip,空行跳过并打印行号,再对每一行调用 json.loads,字段缺 instruction 或 output 的直接报出来。这样 3200 条跑完会输出一行「有效样本 3200 跳过空行 2」,比让 trainer 崩在第三个 epoch 强太多。
重跑之后 datasets 的 num_rows 显示 3200,三个 epoch 的 loss 平滑下降,eval 的 rouge 没有异常跳变。现在 jsonl 进训练目录前先跑这个脚本,两秒就能扫完,比等半小时训练再炸划算。
import json
ok = 0
bad = 0
with open("train.jsonl", encoding="utf-8") as f:
for i, line in enumerate(f, 1):
line = line.strip()
if not line:
print("空行", i)
continue
try:
row = json.loads(line)
except json.JSONDecodeError as e:
print("坏行", i, e)
bad += 1
continue
if "instruction" not in row:
print("缺字段", i)
bad += 1
continue
ok += 1
print("有效样本", ok, "异常", bad) 