sitemap 索引只读第一层 8000 条子文件没进去 怎么拆

陆零云 29 0
站点 8,400 条 URL,拆成 3 个子 sitemap,用 sitemap_index.xml 挂起来。GSC 里已提交的网址一直显示 2,400,正好是第一个子文件的条数。 先怀疑索引文件格式。curl 看 Content-Type 是 application/xml,没有 BOM,编码也对。用 xmllint 校验,报 parser error: EntityRef: expecting ';',行号指到第二个子文件里一个商品名带 & 的...

sitemap 的 lastmod 全写成同一天 8400 条不回抓怎么办

陆零云 28 0
站点地图由脚本生成,lastmod 取的是生成时间,每天跑一次,全站 8,400 条 URL 的 lastmod 都是当天 03:00。提交后第 9 天发现,回抓次数从日均 5,600 掉到 1,900,新发的 120 篇文章只有 34 篇被收录。 第一反应是文件格式坏了。用 GSC 的文件检查跑了一遍,能读,条数对,没有格式错误,索引状态一直是「成功」,只是抓取量在掉。 问题在 lastmod 的可信度。每天都变等于每天都告诉对方「全站更新了」,连续几周...

sitemap 压成 gz 后提交 1400 条读出 0 条 响应头哪里错

陆零云 31 0
站点 1,400 条 URL,sitemap.xml 原始 380KB。按平台建议压成 sitemap.xml.gz 上传,百度那边状态一直是「抓取失败」,GSC 报「无法读取站点地图」,两边读出来的条数都是 0。 第一反应是压缩包坏了。下载回来跑 gunzip -t,没有报错;解压后 head 一看,xml 声明和 urlset 都在。文件本身没问题,那就只剩服务器返回的方式不对。 curl -I 看响应头,Content-Type 是 applicat...

sitemap 里 hreflang 写成 zh 1200 条多语言页一直不索引

陆零云 31 0
多语言站六个语种,1.2 万条 URL 全在 sitemap 里,每条都带一组 xhtml:link 标注 hreflang。三个月后英文收录 8600 条,日德法西四个语种加起来只有 60 条,中文页 0。 第一反应是 sitemap 没被读到。GSC 里状态是成功,已发现 1.2 万条,文件本身没问题。问题在标注。 抽查 20 条非英语页,hreflang 写的是 zh、ja、de,没带地区。规范要求 zh-CN、ja-JP 这样的语言加地区,纯语言标...

站点地图 8400 条重复提交 两份文件撞了怎么并成一份

陆零云 30 0
GSC 里已提交的网址显示 16,800 条,站内实际只有 8,400 条。两个 sitemap 在同时跑:一个是 CMS 插件按栏目生成,一个是运维脚本按数据库全表导,内容重叠,URL 一条不差。 当时觉得多提交一份没坏处,三周后看数据才发现问题。抓取频次被摊成两半,同一批 URL 一天被请求两次,新发布的 200 篇文章平均 11 天才被抓到,索引数从 6,200 只涨到 6,400。 先把旧文件留着观察了两周,确认微博客那边仍在抓 sitemap_o...

sitemap 混进 620 条 noindex:GSC 为什么一直报已排除

陆零云 33 0
站点 4,800 条 URL 全量塞进 sitemap,三周后 GSC 的已编入索引停在 3,980,另外 620 条在覆盖率报告里显示「已提交的网址已标记为 noindex」。这 620 条是标签聚合页和站内搜索结果页,模板里一直在输出 noindex,提交脚本没做过滤。 第一版处理是拿 robots.txt 的 Disallow 把这些路径挡掉,以为不抓就不会进索引。四周后标签页的索引量从 620 涨到 730,GSC 里那批 URL 的状态变成「已发...

sitemap 超 5 万条被截断 分片和 gzip 怎么维护

陆零云 34 0
站点跑到 12 万条 URL,sitemap.xml 生成到 50000 条就停,后面 7 万条一条没进去。搜索资源平台显示已提交 5 万条,实际抓取一直是 3 万多。 sitemap 协议本身有上限:单个文件 5 万条,解压后 50 MB。超了不是截断,是整份文件被判无效。很多生成脚本不报错,写一半就退出,看起来文件还在。 拆成 3 个分片,每片 4 万条,用 sitemapindex 索引。留 1 万条余量是给新文章用的,不然每发一篇就要重算分片,CD...

sitemap 三周零抓取 假 lastmod 怎么反而拖掉 3000 条

陆零云 31 0
10 月 12 日提交 sitemap,1860 条 URL。三周过去,Google 那边的状态一直显示「成功」,但 sitemap 来源的抓取每天不到 40 条,新页面只进了 9 条索引。 翻生成 sitemap 的脚本才看到问题:lastmod 用的是 date('c'),也就是每次生成那一刻的当前时间。整份文件 1860 条 URL 时间戳完全一样,而且每天都会变成新的一天。 当时的想法是让爬虫觉得站点很活跃。结果相反,抓取频次没涨,已有页面的索引还...

sitemap.xml 里 URL 带中文没转义 百度抓取报 400 怎么改

陆零云 33 0
现象 站点换成中文标题的伪静态之后,sitemap.xml 里的 loc 直接写了带汉字的地址,百度抓取诊断一直报 400,必应那边显示 URL 无效。可同样的地址粘到浏览器里能正常打开,看起来像抓取工具的问题。 原因 XML 里的 loc 必须是合法 URI,中文、空格、括号都要做百分号编码。爬虫按原样发请求,遇到没转义的汉字会把请求行判为非法,直接返回 400。浏览器帮你兜了这一层,所以人工点开一切正常。另一个常见来源是程序拼 URL 时用了原始标题,...

sitemapindex 索引文件返回 404 子 sitemap 路径怎么写才生效

陆零云 43 0
现象 文章超两万条后,把 sitemap 拆成索引加子文件:/sitemap.xml 输出 sitemapindex,列出 sitemap-post.xml 等子地址。提交到搜索资源平台一直提示 404 抓取失败;直接打开 /sitemap.xml 正常,点开子地址却是 404 页,日志里百度蜘蛛请求 sitemap-post.xml 也全是 404。 原因 常见三类。一是子 sitemap 实际路径和 loc 不一致,文件在子目录,loc 写成根目录,蜘...