站点 8,400 条 URL,拆成 3 个子 sitemap,用 sitemap_index.XML 挂起来。GSC 里已提交的网址一直显示 2,400,正好是第一个子文件的条数。
先怀疑索引文件格式。curl 看 Content-Type 是 application/xml,没有 BOM,编码也对。用 xmllint 校验,报 parser error: EntityRef: expecting ';',行号指到第二个子文件里一个商品名带 & 的位置。
XML 里 & 必须写成实体,生成脚本直接拼了数据库原文。索引文件读到第二个子文件就中断,第三个压根没被解析。第一版只把出错那行手工改掉,第二天新增商品又带进一个 &,问题原样复现。
改生成脚本,loc 统一走 xml.sax.saxutils.escape,再对中文和空格做 URL 编码。顺序不能反,先编码再转义,否则 % 和 & 会互相吃掉,转两次的地址蜘蛛抓到也是 404。
from xml.sax.saxutils import escape
from urllib.parse import quote
u = 'https://idc.00645.com/tag/' + quote(name)
line = '<loc>%s</loc>' % escape(u)
print(line)
生成完加两道卡口:xmllint --noout 必须返回 0;grep -c '<loc>' 的数量要和库里已发布条数一致。少一条就 fail,不让上传,避免又出半份文件。
结果三个子文件共 8,400 条全部被识别,已编入索引 6,900 条。剩下 1,500 条是内容薄的新页,正常排队。之前漏提交的那 6,000 条,抓取频次两周后才起来。
顺带确认了上限:单个文件不超过 5 万条 URL、50MB,索引里不超过 1,000 个子文件。我们把阈值卡在 2 万条一个文件,留足余量,出问题也好定位是哪一批。
