4 月 8 日上线的站,到 8 月 6 日整整 120 天,百度 site: 结果是 0,GSC 已编入索引 3 条,其中两条是 sitemap 自己。日志里 Baiduspider 来过 11 次,每次都只抓首页,抓完就走。
robots 没问题,sitemap 提交显示成功,620 条 URL 全是 200。这三项排除之后只剩两种解释:爬虫不知道有内页,或者知道了也不想来。
先看入口。首页列表是前端渲染的,服务端返回的 HTML 里只有 12 个 div 和一段 JS,没有一条指向内页的 a 标签。爬虫看到的首页是一张空壳,sitemap 成了它唯一的内页来源,而新域名的 sitemap 本来就没什么可信度。
grep -c "Baiduspider" access.log
curl -s https://ex.com/ | grep -o "<a href=" | wc -l
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head
改成服务端渲染列表,首页出 20 条最新文章的链接,分类页每页 30 条。改完第三天,Baiduspider 抓了 42 次,其中 30 次落在内页,这是 120 天里第一次。
外链没有捷径。找了 4 个同行业的老站换友链,都是还在更新的站,权重不高但收录正常。另外在两个技术社区的回答里放了 3 条链接,指向具体文章不是首页。总数不到 10 条,引用域名从 0 变成 6。
抓取预算容易被理解成配额。新站没有配额问题,问题是爬虫判断这个站不值得来。这个判断里,入口链接和外部引用占的比重比 sitemap 大得多。
服务器这层也顺手看了。TTFB 1.4 秒,PHP 没开 opcache,爬虫每次抓都在等。开了之后 TTFB 到 380ms,抓取频次当天就有变化,这一点容易被低估。
时间线:8 月 9 日改完渲染,8 月 12 日首页收录,8 月 20 日收录 46 条,9 月 6 日 480 条。前 120 天是 0,之后 30 天到了 480。
现在新站上线前的检查单里有一条:关掉 JS,数首页 HTML 里的 a 标签,数不到 20 个就先别提交 sitemap。
