当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin3年前 (2023-02-19)SEO网站356

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

做网站运营时需要做好哪些日常的SEO工作?

做网站运营时需要做好哪些日常的SEO工作?

现在我们在运营网站的过程中相信很多人都会去深思一个问题,那就是要想做好网站的运营需要做好哪些日常的SEO工作呢?其实,在做网站运营推广的SEO圈子来说,了解和熟练操作网站运营的SEO只是很小的一部分,更多的便是基本操作。今天就跟大家分享一下做网站运营时需要做好哪些日常的SEO工作?第一:保证网站的访...

seo基础优化包括哪些内容-SEO基础优化知识

seo基础优化包括哪些内容-SEO基础优化知识

原标题:seo基础优化包括哪些内容-SEO基础优化知识-SEO基础优化内容seo基础优化包括哪些内容,做好SEO后有什么效果,当SEO做好有是有源源不断的流量的。今天给大家分享一款免费的SEO软件让各大SEO的朋友们能更快更好的做好网站SEO优化。如何优化网站的内部结构?网站内部结构优化是网站SEO...

SEO优化一直是网络营销的基础

SEO优化一直是网络营销的基础

为什么放弃了SEO这个标签,过时了吗?为何seo效果这么差,难道seo真的就没有用了吗?前两天好友给我发了消息,问是否还在做SEO优化,转行了没有。其实站长网早就放弃了SEO优化这个标签,主推企业全网营销。为什么放弃了SEO标签,弱化了SEO优化呢?原因其实很简单。一、建网站的企业变少了。如今的企业...

常州网站SEO:关于网站H标签SEO优化以及图片alt使用

常州网站SEO:关于网站H标签SEO优化以及图片alt使用

一、H标签的使用:H标签相当于正文标题,是关键词优化的另一个页面元素,通常认为重要性仅次于页面title标签。近两年Google给予H标签的权重有所降低。H标签只有h1、h2、h3、h4、h5、h6。其中h1最重要,h6为最次要。在h1和h2标签中融入关键词,有助于提高相关性。h3以下的标签权重已经...

诠网科技网络营销需要SEO优化辅助才能起到推广的效果xooooo

诠网科技网络营销需要SEO优化辅助才能起到推广的效果xooooo

现在行业内的竞争越来越激烈,同行间营销竞争的发展显示出自己的魔力。为了争夺更多人的流量,会采用各种营销手段,如网站营销SEO优化等来实现排名靠前,获得源源不断的流量。然而,作为传统行业的网站,总会有这样的声音:网站营销需要做SEO优化吗??往下看,你会看到的。网站营销肯定需要做SEO,因为无论你做或...

商品图片的优化的技巧有哪些?

商品图片的优化的技巧有哪些?

研究表明,如果电子商务网站的加载速度低于预期,会有超过45%的访问者放弃购买。而图片是否进行过优化,决定了网站打开速度的快慢,这里我们介绍了8种图像优化技巧,来帮助提升你网站的用户体验。1. 使用简洁直接的图像名称创建描述性的、关键字丰富的文件名,对于图像优化来说至关重要,因为搜索引擎不仅会抓取你网...