当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin4年前 (2023-02-19)SEO网站402

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

更新什么样的网站内容会更容易被收录?

更新什么样的网站内容会更容易被收录?

对于网站运营者来说,更新网站内容是最基础的工作。因为只有网站内容被收录,网站才能获得更多的流量和更高的权重。那么,更新什么样的网站内容会更容易被收录呢?第一:更新的网站内容,能为用户提供独特的价值网站内容是网站的灵魂,无论您的网站的其他方面做得再好,缺乏内容或低价值的内容都会使网站失去灵魂,用户无法...

新上线的企业网站SEO怎么做优化?

新上线的企业网站SEO怎么做优化?

新上线的企业网站怎么做SEO优化?相信很多的网站负责人都会这么问,一个新企业网站怎么做SEO优化呢,没有专业的SEO人员操作,怎么做呢?有很多人说,做好关键词,每天去更新文章就行了,但是,真的是这样的吗?小编告诉大家:这是完全错误的,为什么呢?因为SEO是一个系统的工程,并不是做好网站,每天更新文章...

建设一个有吸引力的网站需要注意哪些实用的技巧

建设一个有吸引力的网站需要注意哪些实用的技巧

对于一个网站来说,提高网站吸引力是很多站长朋友必需要重视的地方。 因为提高网站吸引力的最终目的是能够有大量的用户访问,并且能够持久的不断访问网站,最终通过网站获得良好的效益。 今天就跟大家分享一下建设一个有吸引力的网站需要注意哪些实用的技巧?...

网站seo优化过程中遇到的问题,网站不收录,网站被黑怎么解决

网站seo优化过程中遇到的问题,网站不收录,网站被黑怎么解决

对一位资深站长而言,SEO其实是相同的事情——基本优化、持续输出、质量、需求、内容、网站出现问题,都可以及时、有效地处理。但对刚接触SEO网站的新手来说,心中总有各种各样的问题,我的网站为什么不收录呢?假如网站遭到黑客攻击怎么办?检索索引和通信量有关吗?你是否有这些搜索优化期间的问题?当谈到收录问题...

SEO优化为什么要研究关键词

SEO优化为什么要研究关键词

原标题:SEO优化为什么要研究关键词很多关注冬镜的小伙伴都知道我已经很久没更新了,网站也很少打理了,其实不是没关注SEO优化这块,但是大家一定要记得SEO优化并不只是网站SEO优化,我们要会学全网优化营销,其它废话不多说,今天冬镜就和大家聊聊SEO优化中为什么要研究关键词?SEO优化为什么要研究关键...

关于百度SEO优化的部分常见问题解答

关于百度SEO优化的部分常见问题解答

这篇文章主要是收集了一些关于百度SEO优化的部分常见问题解答。问:百度会不会惩罚所有网页TITLE都一样的站点?解答:不会主动去惩罚,但这种方式对搜索引擎非常不友好。新手有很大可能进入考核期,延长排名周期。问:nofollow算是一个外链吗?解答:nofollow用于指示搜索引擎不要追踪该链接。外链...