如何解决百度spider无法抓取的问题

导读：解决百度无法抓取的问题一般需要从服务器、robots文件、百度本身来找原因，一般最有效的方式是用百度站长后台的抓取诊断测试蜘蛛是否爬取通畅。

一、检测ROBOTS.TXT文件是否书写正确

很多网站运营不小心把robots文件屏蔽了百度蜘蛛，因此导致无法抓取，所以检查robots书写是否规范，有没有屏蔽蜘蛛，常见的禁止百度协议是这样书写的:

User-agent:BaiduspiderDisallow:/

如果是这样，建议删除掉。

二、检查服务器问题

很多服务器为了安全自带了防火墙或者安全狗等一系列防火墙软件，此类软件会导致百度蜘蛛抓取失败，在排除robots书写无误后，建议聪哥服务器排查防火墙原因。

三、百度本身原因

由于百度周期会更新，所以因此会出现百度蜘蛛无法抓取情况，遇到此类问题需等待百度更新完毕再测试，测试方法可以使用百度站长后台的抓取诊断工具。