当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin3年前 (2023-02-19)SEO网站293

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

标签优化对网站的意义和作用

标签优化对网站的意义和作用

如果你是一名SEO人员,那么你在做网站优化的时候,一定会接触到如下几种标签,很多优化人员刚开始做百度搜索引擎优化,关键词排名的时候,经常会忽略以下几个小细节:1、与标签这2个标签在前台页面展示的时候,其实效果都一样,但对于搜索引擎而言,它更喜欢前者:利用这个标签包含目标关键词的效果,要强于标签,所以...

SEO优化需要用到什么标签?

SEO优化需要用到什么标签?

  针对SEOer而言,在HTML编码中,应用一些标签,更有利于搜索引擎蜘蛛的载入,适度合理布局一些提升标签,很有可能会出现出乎意料的結果。下边就例举好多个标签的用途。   1.题目标签。在网页页面html编码中标签是界定较大的题目。   在全部网页页面中,标签提议有且只出現一次...

在网站运营时哪些因素影响着网页的抓取收录

在网站运营时哪些因素影响着网页的抓取收录

我们在运营网站时都希望自己的网站内容能被快速抓取收录,但是搜索引擎对网站内容和网页抓取收录是一个复杂的过程,简单来说,收录过程可以分为:抓取、过滤、建立索引和输出结果。尤其是现在随着搜索引擎的不断升级,比如说百度搜索引擎细雨算法横空出世,对网站收录抓取一定会有影响。那么,搜索引擎进行网站内容的抓取时...

企业PC网站和移动网站各自的优缺点?

企业PC网站和移动网站各自的优缺点?

现在随着移动互联网站的快速发展,越来越多的企业选择建设企业移动网站。 对待移动网站和PC端网站态度,很多站长都持不同的意见:对鱼移动网站来说有的认为有用,有的认为是个鸡肋; 对于PC网站,也有人认为随着移动互联网的发展,PC端网站已死!...

META标签,html标签,META标签作用(图文详解)xooooo

META标签,html标签,META标签作用(图文详解)xooooo

META标签,是在HTML网页源代码中一个重要的html标签。META标签用来描述一个HTML网页文档的属性,例如作者、日期和时间、网页描述、关键词、页面刷新等。META标签元素可提供有关页面的元信息(meta-information),比如针对搜索引擎和更新频度的描述和关键词。META标签位于文档...

SEO优化:网站头部Title标签的优化技巧

SEO优化:网站头部Title标签的优化技巧

一个网站的头部优化是否到位,关系到网站后期的排名能否持续向前跨进。那么,既然网站头部优化这么重要,我们应该怎么优化网站头部标签呢?一、什么是网站头部title标签优化所谓网站头部title标签优化是指对网站的网页标题标签进行优化,网站的title标签优化尤为重要。搜索引擎会重点考虑网页标题标签的关键...