陆零云
29
0
站点 8,400 条 URL,拆成 3 个子 sitemap,用 sitemap_index.xml 挂起来。GSC 里已提交的网址一直显示 2,400,正好是第一个子文件的条数。
先怀疑索引文件格式。curl 看 Content-Type 是 application/xml,没有 BOM,编码也对。用 xmllint 校验,报 parser error: EntityRef: expecting ';',行号指到第二个子文件里一个商品名带 & 的...
陆零云
28
0
站点地图由脚本生成,lastmod 取的是生成时间,每天跑一次,全站 8,400 条 URL 的 lastmod 都是当天 03:00。提交后第 9 天发现,回抓次数从日均 5,600 掉到 1,900,新发的 120 篇文章只有 34 篇被收录。
第一反应是文件格式坏了。用 GSC 的文件检查跑了一遍,能读,条数对,没有格式错误,索引状态一直是「成功」,只是抓取量在掉。
问题在 lastmod 的可信度。每天都变等于每天都告诉对方「全站更新了」,连续几周...
陆零云
31
0
站点 1,400 条 URL,sitemap.xml 原始 380KB。按平台建议压成 sitemap.xml.gz 上传,百度那边状态一直是「抓取失败」,GSC 报「无法读取站点地图」,两边读出来的条数都是 0。
第一反应是压缩包坏了。下载回来跑 gunzip -t,没有报错;解压后 head 一看,xml 声明和 urlset 都在。文件本身没问题,那就只剩服务器返回的方式不对。
curl -I 看响应头,Content-Type 是 applicat...
陆零云
31
0
多语言站六个语种,1.2 万条 URL 全在 sitemap 里,每条都带一组 xhtml:link 标注 hreflang。三个月后英文收录 8600 条,日德法西四个语种加起来只有 60 条,中文页 0。
第一反应是 sitemap 没被读到。GSC 里状态是成功,已发现 1.2 万条,文件本身没问题。问题在标注。
抽查 20 条非英语页,hreflang 写的是 zh、ja、de,没带地区。规范要求 zh-CN、ja-JP 这样的语言加地区,纯语言标...
陆零云
30
0
GSC 里已提交的网址显示 16,800 条,站内实际只有 8,400 条。两个 sitemap 在同时跑:一个是 CMS 插件按栏目生成,一个是运维脚本按数据库全表导,内容重叠,URL 一条不差。
当时觉得多提交一份没坏处,三周后看数据才发现问题。抓取频次被摊成两半,同一批 URL 一天被请求两次,新发布的 200 篇文章平均 11 天才被抓到,索引数从 6,200 只涨到 6,400。
先把旧文件留着观察了两周,确认微博客那边仍在抓 sitemap_o...
陆零云
33
0
站点 4,800 条 URL 全量塞进 sitemap,三周后 GSC 的已编入索引停在 3,980,另外 620 条在覆盖率报告里显示「已提交的网址已标记为 noindex」。这 620 条是标签聚合页和站内搜索结果页,模板里一直在输出 noindex,提交脚本没做过滤。
第一版处理是拿 robots.txt 的 Disallow 把这些路径挡掉,以为不抓就不会进索引。四周后标签页的索引量从 620 涨到 730,GSC 里那批 URL 的状态变成「已发...
陆零云
34
0
站点跑到 12 万条 URL,sitemap.xml 生成到 50000 条就停,后面 7 万条一条没进去。搜索资源平台显示已提交 5 万条,实际抓取一直是 3 万多。
sitemap 协议本身有上限:单个文件 5 万条,解压后 50 MB。超了不是截断,是整份文件被判无效。很多生成脚本不报错,写一半就退出,看起来文件还在。
拆成 3 个分片,每片 4 万条,用 sitemapindex 索引。留 1 万条余量是给新文章用的,不然每发一篇就要重算分片,CD...
陆零云
31
0
10 月 12 日提交 sitemap,1860 条 URL。三周过去,Google 那边的状态一直显示「成功」,但 sitemap 来源的抓取每天不到 40 条,新页面只进了 9 条索引。
翻生成 sitemap 的脚本才看到问题:lastmod 用的是 date('c'),也就是每次生成那一刻的当前时间。整份文件 1860 条 URL 时间戳完全一样,而且每天都会变成新的一天。
当时的想法是让爬虫觉得站点很活跃。结果相反,抓取频次没涨,已有页面的索引还...
陆零云
33
0
现象
站点换成中文标题的伪静态之后,sitemap.xml 里的 loc 直接写了带汉字的地址,百度抓取诊断一直报 400,必应那边显示 URL 无效。可同样的地址粘到浏览器里能正常打开,看起来像抓取工具的问题。
原因
XML 里的 loc 必须是合法 URI,中文、空格、括号都要做百分号编码。爬虫按原样发请求,遇到没转义的汉字会把请求行判为非法,直接返回 400。浏览器帮你兜了这一层,所以人工点开一切正常。另一个常见来源是程序拼 URL 时用了原始标题,...
陆零云
43
0
现象
文章超两万条后,把 sitemap 拆成索引加子文件:/sitemap.xml 输出 sitemapindex,列出 sitemap-post.xml 等子地址。提交到搜索资源平台一直提示 404 抓取失败;直接打开 /sitemap.xml 正常,点开子地址却是 404 页,日志里百度蜘蛛请求 sitemap-post.xml 也全是 404。
原因
常见三类。一是子 sitemap 实际路径和 loc 不一致,文件在子目录,loc 写成根目录,蜘...