现象:sitemap 提交两周,收录量还是不动
站点地图在搜索资源平台显示已提交,抓取频次却一直是个位数,site: 查不到新增页面。页面本身能正常打开,也没有做过任何屏蔽,问题通常出在抓取链路上的三个开关。
判断:先分清是抓不到还是抓了不收
- 抓取诊断返回 4xx、5xx 或超时,属于抓不到,先修服务器和 URL 本身;
- 返回 200 但页面里有 noindex,或 Canonical 指向别的地址,抓到了也不会进索引;
- 抓取正常、正文与已有页面高度重复,收录会被合并到老页面。
解决步骤
第一步,确认 robots.txt 没挡住。Disallow 写错目录是常见事故,Crawl-delay 设得过大也会让抓取频次上不去:
User-agent: Baiduspider
Allow: /
Disallow: /search/
Disallow: /*?sid=
Sitemap: https://example.com/sitemap.xml
第二步,检查页面级开关。用 curl 看响应头,再看源码里的 meta robots 和 canonical 是不是自指的绝对地址:
curl -sI https://example.com/new-page.html | head -n 5
curl -s https://example.com/new-page.html | grep -i -E "noindex|canonical"
canonical 指向带参数的版本或 HTTP 旧域名,等于把权重送给另一个地址,新页面的收录就不会动。
第三步,让 sitemap 说真话。lastmod 不要每次生成都刷成当前时间,会被判定为噪声、降低抓取优先级;只放 200 状态且允许索引的 URL:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/new-page.html</loc>
<lastmod>2026-11-01</lastmod>
</url>
</urlset>
第四步,清死链和孤岛页。新页面没有站内入口,蜘蛛很难发现。把 sitemap 里的地址批量跑一遍状态码:
curl -s https://example.com/sitemap.xml | grep -o "https://[^<]*" |
while read u; do
echo "$(curl -o /dev/null -s -w '%{http_code}' "$u") $u"
done | grep -v "^200"
第五步,主动推送,别干等。内容发布后调用普通收录接口,单次最多 1000 条,配合修正后的 sitemap,一周内就能看到抓取变化。
验证方法
三天后看抓取诊断是否稳定 200、抓取频次是否上升;七到十四天看索引量曲线。只提交 sitemap 而不改页面,收录基本不会动。
小结
收录不涨按能不能抓、让不让收、值不值得收三层排查:robots 与响应码、noindex 与 canonical、sitemap 质量与内链入口。三层都过关,剩下的才是等。
