为什么网站页面不收录？看大神分析百度蜘蛛Spider抓取篇

很多CMS自带的都有robots.txt设置，一般情况下，用CMS自带的即可，由于项目的原因，很多人在线上运营之前都会选择禁用蜘蛛爬取，比如之前我们给客户做的网站中，上线后网站并没有完成，所以暂时封禁了蜘蛛，所以就用了以下这个代码：

User-agent: *Disallow: /

如果线上正式运营后，很多人忘记了更改回来，所以就导致了不被蜘蛛抓取，建议大家养成一个好习惯，不定期的检查robots设置，优化最合适的设置。

百度算法更新这几年，算法对低质量内容识别越来越精准，尤其是时效性内容，从抓取层面就进行质量评估，过滤掉低质内容，如果文章质量自己都看不下去，就不要再埋怨为什么不收录了。

百度蜘蛛抓取失败很多，其中最主要的原因还是服务器的问题，作为网站运营者时刻要关注服务器稳定情况，如果遇到打不开网站或者502错误，建议去服务器排查问题，增加防火墙设置等以保证网站稳定性。

以上3个方面是从百度蜘蛛角度去阐述网站页面不收录的原因，根据迅步的经验总结，最多的原因在于服务器不稳定导致的抓取失败，希望大家可以从这方面入手，加强服务器的稳定性。

最后，如果你对网站收录还有疑问的话，请看下一篇：为什么网站页面不收录？看大神分析文章内容质量篇！