sitemap 提交了 1200 条 URL,百度只收录 80 条,重复页面怎么清理

先分清“提交了”和“被索引”

sitemap 只是告诉搜索引擎这些 URL 存在,真正决定索引量的是页面质量、重复度和抓取预算。后台显示提交 1200 条、site 查询只有 80 条,多数不是 sitemap 格式写错,而是里面混进了大量不该提交的地址:带参数的筛选页、分页复制页、已经 301 的旧域名、被 robots 或 noindex 挡住的页面。爬虫抓一次发现是重复内容,后面就会降低整个目录的抓取频次,越提交越不收录。

把 sitemap 和页面 Canonical 对一遍

判断标准只有三条:sitemap 里的每条 URL 打开后返回 200、canonical 指向自己、页面有独立正文。任何一条不满足就该从 sitemap 剔掉。下面的脚本把 sitemap 拉下来逐条检查,输出三类问题地址,跑完就知道该删谁。

import re, requests
from urllib.parse import urljoin

SM = "https://example.com/sitemap.xml"
xml = requests.get(SM, timeout=15).text
urls = re.findall(r"<loc>(.*?)</loc>", xml)[:200]
bad = {"canonical": [], "noindex": [], "error": []}
for u in urls:
    try:
        r = requests.get(u, timeout=10)
    except Exception:
        bad["error"].append(u)
        continue
    if r.status_code != 200:
        bad["error"].append(u)
        continue
    m = re.search(r'rel="canonical"[^>]*href="([^"]+)"', r.text)
    if not m or urljoin(u, m.group(1)).rstrip("/") != u.rstrip("/"):
        bad["canonical"].append(u)
    if 'name="robots"' in r.text and "noindex" in r.text:
        bad["noindex"].append(u)
for k, v in bad.items():
    print(k, len(v))
    for x in v[:10]:
        print("  ", x)

清理之后按栏目拆分提交

顺序是先删后加:把 301、404、noindex、canonical 指向别处的地址全部移出,剩余页面按栏目拆成子 sitemap,再用一个索引文件串起来,每个子文件控制在 1000 条以内。lastmod 只在正文真正更新时修改,长期不动的页面写固定日期,天天变动会让搜索引擎不再信任这个字段,反过来削弱抓取优先级。

看两周曲线,不要天天重提

改完在搜索资源平台重新提交一次就够了,接下来观察两周的抓取频次和索引量,而不是每天手动提交。索引量回升通常滞后于抓取频次:先看到蜘蛛来访次数上涨,再看到收录数增加。如果抓取频次依然不动,就回到服务器日志看百度蜘蛛的响应码,5xx 和 429 占比过高说明是服务端把爬虫挡在门外,这时候再怎么改 sitemap 都不会有变化。

您可以还会对下面的文章感兴趣: