百度蜘蛛抓取频率和网站搜索量下降的解决方案
导读:网站流量和爬虫同时下降,我们应该如何审查它们?
1、服务器替换
在服务器更换过程中,如果处理不当,仍然很容易造成百度爬虫爬行不稳定,如:
(1)网站稳定性
更改服务器后,服务器线路和IP可能会更改。这时,你需要在百度后台查看一下,看看百度蜘蛛访问是否经常出现“链接超时”的情况。
如果这个问题在不同的时间出现在大量的节点中,它肯定会影响抓取的数量。
(2)网站网址变更
由于服务器的替换,对于一些伪静态网站,常常需要调整伪静态规则。在这个过程中,如果您的规则处理不当,那么动态URL与伪静态URL共存。
嗯,很容易创建很多重复的URL,您可以通过站点域名简单地查看。
如果出现这个问题,一个是修改相关规则,另一个是使用301重定向。
(3)防护软件误伤
许多网站管理员将在服务器上打开第三方安全保护软件。这些软件大多具有自动屏蔽IP的功能。如果一个IP段中发生大量攻击,甚至IP段也会自动屏蔽。
但有时,也可能出现“误伤”如:错误屏蔽百度蜘蛛IP段。
(4)服务器安全
毫无疑问,如果一个网站被黑客攻击,它往往是导致流量和爬行下降的主要原因。您需要检查它是否被恶意地篡改了代码,是否有选择性的子弹窗口(取决于IP区域,区分用户和蜘蛛等)。
2、网站优化策略
如果您最近的优化策略相对激进或被动,则会出现以下问题:
(1)刷和点击
这是一种非常沉默的行为,但百度经常错误地认为你是在试图欺骗,并造成伤害。
(2)大量的短期外链
对于外部链优化,快速构建大量的外部链并不是一个大问题。问题是,如果你建立低质量的外部链,如:新闻集团外部链,百度黑名单中只有一些域名,那么你的站点可能会很快牵连到短期内。
如果选择新的网站用户组域名,可能会更好。
(3)关键词积累
最近,百度在线“百度搜索页面标题规范”是否认真检查,有大量的站点由于关键词的积累,以及标点符号的错误使用,都被修改了标题,导致大量页面排名丢失。