百度有匿名蜘蛛吗?如何识别?
理论上讲搜索引擎是有匿名蜘蛛的,来防止IP Cloaking等作弊行为,百度也不另外。
首先,百度官方讲说没有,但百度官方讲的话我向来只听一半,个中缘由自己体会。
其次,搜索引擎使用匿名蜘蛛也是需要各种成本的,包括时间成本,是一般搜索引擎不愿意干的事。但道高一尺魔高一丈,这就倒逼搜索引擎去改进算法,好比目前猖獗的快排一样,不是百度不想打击,是成本太高。
最后,根据判断IP、UA来返回不同的内容,这作弊成本太低了,虽然比隐藏内容稍微高级点,但稍微懂点代码的都能实施了。如果百度不打击的话,任由IP Cloaking、User agent Cloaking发展的话那就乱套了,只是个时间问题,和值不值得去做的问题。现在没被发现不代表以后不会被发现,而且百度对每个站点的打击力度和容忍度也是不一样的。