财务每月要一份对账单,导出成 GBK 编码的 CSV,用 Excel 直接打开。这个月的文件少了两行,财务说金额对不上。翻应用日志,同一时刻有两行 Warning: iconv(): Detected an illegal character in input string,后面没有别的信息。
第一反应是转码参数写反了,检查代码是 iconv('UTF-8', 'GBK', $line),方向没错。又怀疑是数据库里有脏数据,抽了那两条订单,商品名都是新上架的手机壳,名字末尾带一个红色爱心 emoji。
GBK 的字符集里没有 emoji,iconv 遇到不能表示的字符直接返回 false,整行就被丢掉了。这个函数的第三个参数可以写 //IGNORE 或 //TRANSLIT。先试 //IGNORE,能转成功,但那两行里紧挨着爱心的中文也少了一个字,原因是它按字节跳过,多字节序列被切断后把后面的字节一起吃掉了。
换 //TRANSLIT,emoji 变成问号,中文完整。问题是导出之后分不清哪个问号是替换出来的,哪个是用户自己输入的问号,财务核对时又要来问。也试过 mb_convert_encoding($s, 'GBK', 'UTF-8'),它不做报错,把不能表示的字统一变成问号,行为跟 TRANSLIT 接近,但同样无法回溯。
$s = preg_replace('/[\x{10000}-\x{10FFFF}]/u', '', $s);
$out = @iconv('UTF-8', 'GBK//IGNORE', $s);
if ($out === false) {
$out = mb_convert_encoding($s, 'GBK', 'UTF-8');
$bad++;
}
最终做法是先按码点把四字节区间的字符剔掉,emoji 全在这个范围,剔完剩下的都是 GBK 能表示的字;再走 iconv 加 //IGNORE 兜底,真失败就退到 mb_convert_encoding 并计数。被剔掉的字符拼成一条记录写进单独的日志,附订单号,需要的时候能还原成人看得懂的描述。
验证是拿最近三个月的三千条订单重跑导出,行数与源表一致,抽五十行用 Excel 打开,中文和金额都正常,没有问号。日志里被剔掉字符的订单有 37 条,全部是商品名带表情,跟客服核对过,不影响对账。代码里加了一条断言,导出条数不等于查询条数就中止并报警。
