当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin2年前 (2023-02-19)SEO网站201

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

标签优化对网站的意义和作用

标签优化对网站的意义和作用

如果你是一名SEO人员,那么你在做网站优化的时候,一定会接触到如下几种标签,很多优化人员刚开始做百度搜索引擎优化,关键词排名的时候,经常会忽略以下几个小细节:1、与标签这2个标签在前台页面展示的时候,其实效果都一样,但对于搜索引擎而言,它更喜欢前者:利用这个标签包含目标关键词的效果,要强于标签,所以...

网站SEO中的H标签该如何使用?

网站SEO中的H标签该如何使用?

很多做SEO优化的人都用过H标签,其实最大的问题只是一些小细节方面没做到位。H标签就是heading标签,是为了着重强调文本的标题,一般显示效果就是放大和加粗字号。H标签优化是SEO优化中一些小细节问题,但做好对于SEO效果提升会有很好的帮助作用。虽然H标签有6个层级,分别为H1、H2、H3、H4、...

HTML5中的meta标签到底是什么

HTML5中的meta标签到底是什么

做响应式网站的时候,我们经常看到什么HTML5黑科技,独特的meta标签独得搜索引擎喜爱,收录快之类的宣传语,不少用户都是云里雾里。其实这个HTML5中的meta标签到底是何方神圣,为什么直接影响网站优化?今天给大家解答一下。Meta标签的解释Meta标签用来描述一个HTML网页文档的属性,例如作者...

外贸建站注意META标签SEO优化(什么是Title和Description标签详解)

外贸建站注意META标签SEO优化(什么是Title和Description标签详解)

外贸网站标题(Title)和描述(Description) SEO优化教程详解,Title和Description对于引擎优化占比重较大, 但是目前老船长分析过很多外贸网站,其中90%的网站Title和Description写的都很糟糕。外贸网站META标签SEO优化详细指南1. 什么是页面的标题和...

为网站更新高质量文章内容的方法和技巧

为网站更新高质量文章内容的方法和技巧

网站内容建站是网站运营的重要内容之一,网站内容无论是建站的初期还是是成熟期都相当重要,并且网站文章内容更新越来越成为企业网站推广的首要的重中之重。网站内容就相当于人体的肌肤,网站的架构和程序,就像人体的骨架,只有两者有着很好的搭配,才能够让人体变得丰满起来,可爱起来,要不然光光秃秃的骨架示人,一定会...

移动网站和pc网站设计有哪些不同应注意什么

移动网站和pc网站设计有哪些不同应注意什么

现在随着移动互联网的发展,大家在对待移动网站和PC端网站态度也发生了很大的改变。大家对移动网站的设计更加重视,不在认为是可有可无的鸡肋,所以,很多企业开始纷纷份搭建移动网站满足公司业务需求,从而获得移动端流量。但是,移动端网站建设和PC端网站建设是非常不一样的,今天就跟大家分享一下移动网站和pc网站...