当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin3年前 (2023-02-19)SEO网站232

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

SEO养成基础计划之十九:Meta标记依然重要

SEO养成基础计划之十九:Meta标记依然重要

要控制搜索引擎的结果,不论是内部搜索引擎还是外部搜索引擎,最基本的方法就是给页面写入名称属性为ROBOT的Meta标记,其内容还应该包括INDEX或者NOINDEX,以及FOLLOW或者NOFOLLOW。这些简单的标记会告诉搜索引擎该如何处理这个页面。不论是内部还是外部搜索引擎,都会按照META标签...

SEO优化人员如何使用标签进行优化

SEO优化人员如何使用标签进行优化

在 HTML代码中, SEO优化人员可以使用一些标签,这就便于搜索引擎蜘蛛对其进行抓取。因此,在 SEO优化过程中,若能适当地使用某些优化标签,那么很有可能收获到一些意想不到的效果,下面我们来看一下标签的巧妙运用。一、选择标签1、通过拓词器(如金花站长工具、百度关键词推荐工具、5118和其他一些工具...

网站seo优化中如何使用标签?

网站seo优化中如何使用标签?

对于网站seo优化人员来说在HTML代码中会用到一些标签,这也可以方便搜索引擎蜘蛛来抓取,如果在seo优化过程中适当的使用一些优化标签,那么很快就会收获到意想不到的效果,那么念悠小编教你如何使用这些标签。1、标题标签标题标签在网页的代码是最大标题的定义,在全部的页面当中,标签出现一次就可以了,可以定...

网站优化TAG标签的正确运用

网站优化TAG标签的正确运用

说到SEO优化,不得不说到TAG这个标签,通过给文章定制标签,可以引导网站浏览者更准确以及更多的访问大量相关的文章,运用TAG标签,可以使你发表的文章更容易被搜索到。 今天网站优化小编来为大家分享网站TAG标签优化的正确方法。 1、什么是TAG标签?...

SEO新手入门,提升SEO技能,必备知识!

SEO新手入门,提升SEO技能,必备知识!

嗨,SEO小伙伴!欢迎你来到SEO行业,感谢你对蝙蝠侠IT的认可,当你打开这个页面的时候,我相信你与真实的SEO,更加近了一步。我们都知道SEO是一个系统性工作,它由多种因素影响,算法,策略,预算,周期,执行等等。每一项数据的变化都在左右着SEO结局。理论上我们认为SEO是相对容易的,但很多SEO小...

怎么做好网站seo优化?—优企客

怎么做好网站seo优化?—优企客

对于网站SEO优化的问题,一直以来都是困扰很多人刚开始做优化的人,本人结合自己的相关经验,总结了一些网站SEO优化的建议。打开凤凰新闻,查看更多高清图片第一:做一个网站策划书对网站进行优化,确定我们自己的网站定位和用户群,然后根据研究结果得出结论,再具体进行网站建设和优化。这就是分析我们竞争对手的网...