陆零云
11
0
自建的关键词监控每天跑一次,300 个词。周一打开报表,268 个词同时掉了 3 到 6 位,收录没动,抓取次数也正常。第一反应是撞上算法更新。
先看同行的波动工具,同类站点没有同步下跌,只有我们掉。又手动搜了 10 个词,位置确实变了,顶上来的是一个三个月前上线的新站,40 篇长文,全是同一个细分方向。
为了排除技术因素,用 URL 检查看了 10 个落地页,渲染正常,canonical 自指,没有 noindex。再对比日志,蜘蛛对这批页面的抓取频次和...
陆零云
6
0
移动端详情页的正文是 JS 拼的:接口返回 JSON,前端渲染成 HTML。浏览器里看有 1,800 字,curl 拿到的源码里只有 300 字的外壳和一句 loading。
第一反应是加预渲染中间层,按 UA 判断,命中就返回渲染后的快照。两周后日志显示 Googlebot 拿到的 HTML 确实变长了,但百度那边没动,快照缓存还经常返回上一版。
问题在缓存键。中间层只按 URL 缓存,没区分 UA 和移动端,PC 快照被发给了移动蜘蛛,viewport...
陆零云
30
0
商品库里有三种地址:老域名、新域名、带 ?from=list 的参数版。模板里旧地址的 canonical 指向中间页,中间页指向新域名,新域名自指。我以为链条会自动收敛。
三个月后看索引,旧地址还在,中间页也在,新域名反而只有一半。日志里蜘蛛抓新域名最多,收录却挂在旧地址上。canonical 是提示,链式传递会被直接忽略,这一点文档里写得很轻。
第一次改只动了中间页,让它直指新域名,旧地址保持原样。两周后旧地址仍然被索引,排名还在。起点没改,链条依旧断...
陆零云
31
0
文章页的推荐位一直用 div 加 onclick 跳转,全站 3,800 条。翻蜘蛛日志按目标 URL 聚合,这些推荐位指向的页面一天被访问 0 次,文章页本身抓得挺勤。
第一反应是推荐位在页面底部,权重低。把区块挪到正文下面第二屏,两周后还是 0。再看渲染后的 HTML,那里压根没有 href,只有 data-href 和一段事件绑定。
试过补 rel=next 和 link 标签,没有任何作用,蜘蛛不会顺着 JS 里的 location.href 走。...
陆零云
29
0
新站 8,000 条商品,想用 Indexing API 加速收录。脚本一次提交 500 条,第 201 条开始返回 429,body 里写着 RESOURCE_EXHAUSTED,quota metric 是 IndexingApiRequestsPerProjectPerDay,limit 200。
第一反应是并发太高。把并发降到 1,每条间隔 1 秒,跑到第 201 条照样 429。这时候才认真看配额那一行,确实是每天 200 条,和速率无关。
试过...
陆零云
28
0
站点 3,800 篇文章,页头和页脚一共 46 个链接,所有页面输出同一份。爬虫顺着抓,每一页都能走到这 46 个地址,内页之间几乎不互链。
GSC 的链接报告里,全站内部链接 4.2 万条,其中 3.7 万条来自导航和页脚模板,正文互链只有 5,000 条。第四层页面平均入链 0.8 条,有些页面除了导航没有任何入口。
第一反应是加相关推荐。按 tag 匹配,每篇取 6 条。上线一周看日志,推荐位点击率 0.3%,更糟的是这 6 条链接在 200 多个页...
陆零云
31
0
站点 1,400 条 URL,sitemap.xml 原始 380KB。按平台建议压成 sitemap.xml.gz 上传,百度那边状态一直是「抓取失败」,GSC 报「无法读取站点地图」,两边读出来的条数都是 0。
第一反应是压缩包坏了。下载回来跑 gunzip -t,没有报错;解压后 head 一看,xml 声明和 urlset 都在。文件本身没问题,那就只剩服务器返回的方式不对。
curl -I 看响应头,Content-Type 是 applicat...
陆零云
34
0
站点跑到 12 万条 URL,sitemap.xml 生成到 50000 条就停,后面 7 万条一条没进去。搜索资源平台显示已提交 5 万条,实际抓取一直是 3 万多。
sitemap 协议本身有上限:单个文件 5 万条,解压后 50 MB。超了不是截断,是整份文件被判无效。很多生成脚本不报错,写一半就退出,看起来文件还在。
拆成 3 个分片,每片 4 万条,用 sitemapindex 索引。留 1 万条余量是给新文章用的,不然每发一篇就要重算分片,CD...
陆零云
279
0
辣椒HTTP代理可以翻墙吗?不可以翻墙辣椒HTTP代理不提供任何形式的翻墙功能。本服务仅面向合法合规的商业用途,包括但不限于:市场调研广告验证搜索引擎数据抓取电商运营分析社交平台内容管理等我们严格遵守相关法律法规,所有用户在使用过程中须确保其行为符合法律规定,任何用于违规用途的账号将被立即终止服务。各个产品都有什么区别?辣椒HTTP当前提供的产品有海外动态住宅、静态长效住宅、不限量住宅代理-带宽、不限量住宅代理-端口。1.海外动态住宅(按流量计费)计费方式...