模型把 null 输出成字符串 判空一直失效 3000 条脏数据怎么清

结构化抽取上线三个月,大部分字段都正常,只有取消原因这一类可空字段出问题。抽查一千条,316 条的库值是字符串 null,四个字母,不是 SQL 的 NULL。

请求里用的是 json_schema,字段类型写 ["string", "null"]。模型有时候不返回 JSON 的 null,而是把 null 当成字符串吐出来,None、N/A 也各出现过几次。PHP 侧只做了 json_deCode,拿到什么写什么。

第一反应是模型能力不够,换了个更大的模型,比例从 31% 降到 18%,没根治。在 prompt 里加了一句没有就返回 null,效果一样,模型只是换了个说法。

往下查才发现判空逻辑也有问题。代码写的是 if (empty($row['cancel_reason'])),字符串 null 不是空,判断通过,脏值一路写进库。报表按这个字段分组,多出一个叫 null 的类目,占比 12%。

方案分两层。schema 里不给 null,改成枚举,没有值时让模型返回空字符串;入库前再做一次归一化,把几个常见占位串统一转成真正的 null,然后走类型校验。

// 占位串统一转成 null
$blank = ['null', 'none', 'n/a', '', 'nil'];
$v = $row['cancel_reason'] ?? null;
if (is_string($v)) {
    $t = strtolower(trim($v));
    $v = in_array($t, $blank, true) ? null : $v;
}
if ($v !== null && !is_string($v)) {
    throw new UnexpectedValueException('bad reason');
}

历史数据没有直接 update 成 NULL。先按 id 分批导出,人工抽两百条确认都是空值语义,再统一刷。三千条跑了四十分钟,中间停两次核对条数。

验证用五百条新样本回放,模型侧占位串出现 6 次,全部被归一化拦下;报表里那个 null 类目消失,重跑月度统计,数字和财务台账对上了。

您可以还会对下面的文章感兴趣: