当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin3年前 (2023-02-19)SEO网站307

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

网站正式上线后我们需要做哪些后续工作?

网站正式上线后我们需要做哪些后续工作?

现在随着互联网站的快速发展,网站建设越来越简单了,基本上每个企业都会建设自己的企业网站。但是,有一些企业和个人不懂网站运营,以为一个网站上线后就不用管了,甚至网站上线后不知道做什么了?其实,建设网站容易,上线后运营才是关键,做好网站后期的运营是一件很难的事情,今天就跟大家分享一下网站正式上线后我们需...

要想做好企业网站推广需要掌握的技能

要想做好企业网站推广需要掌握的技能

关于2023年如何做好网站推广一直是广大站长朋友关心的话题,现在随着互联网的飞速发展,搜索引擎算法调整的频率也在加大,比如说前段时间搜索引擎又增加了一系列的算法,让很多站长朋友受到了不小的打击。今天就跟大家分享一下2023年要想做好企业网站推广需要掌握的技能,希望大家通过掌握常用的技能不断提升网站排...

建设推广企业移动手机网站应注意哪些要点?

建设推广企业移动手机网站应注意哪些要点?

现在随时移动互联网的快速发展,绝大多数的人们都离不开手机,除了工作和休息的时间,大概就把剩下的时间都耗在了手机上了吧!在这样的大趋势下,现在很多企业开始建设和推广自己的企业移动网站,今天就跟大家分享一下建设推广企业移动手机网站应注意哪些要点?第一:关于企业移动网站域名的选择其实,与PC网站一样,域名...

如何有效做好网站排名挺高网站运营效率?

如何有效做好网站排名挺高网站运营效率?

大家都知道一个网站从无到有,从没有排名到有良好排名,都是网站运营人员一步一步耕耘的结果。每个网站运营人员都是希望自己的网站能有良好的排名,因为网站排名是网站运营成绩的一个体现因素。我们在运营网站时虽然每天的工作都相雷同,但是如果注重方法,那么工作效率的提升就可以达到事半功倍的效果。今天就跟大家分享一...

说说做好网站运营推广的步骤和技巧

说说做好网站运营推广的步骤和技巧

大家都知道网站运营推广是最难的,同时也是压力非常大的一个职业。现在越来越多的企业建设自己的网站,但并不是网站建成之后放在那里就会有效果,而是需要有效的网站运营和推广,只有这样才能获得良好的效果。今天就跟大家分享一下做好网站运营推广的步骤和技巧,希望对大家有所帮助。第一:什么是网站运营推广?其实简单直...

制作网站时如何正确处理和优化图片?

制作网站时如何正确处理和优化图片?

大家都知道对于每个网站来说图片和文字,一定是绕不开的两大构成要素。所以,我们在制作网站时就需要正确处理和优化图片,因为图片内容是每个网站的必须品,是提升用户体验达到一个更优秀的阅读效果的表现,也就是说一篇好的文章都应该拥有最合适的配图来提高用户阅读体验。今天笔者就跟大家分享一下制作网站时如何正确处理...