当前位置:首页 > SEO网站 > 正文内容

搜索引擎蜘蛛的抓取和访问的区别

admin4年前 (2023-02-19)SEO网站381

我们习惯把搜索引擎的蜘蛛抓取和访问视为一个意思,但是如果从严谨的定义去看的话,两者是有区别的,但是作用系数又是相互形成的协同结果。

1、抓取指的是蜘蛛获取页面的信息、参数和属性,包括内容和代码的结构情况。

2、访问指的是蜘蛛以用户的身份角度对网站进行正常访问,包括浏览体验度和阅读流畅性。

以百度搜索举例,大多数都会同时有2个IP蜘蛛同时进入网站,目前常见是116和220开头的IP,有些人当作是权重蜘蛛和抓取蜘蛛,这样理解也是可以的。

但是其他搜索引擎大多数只有一个IP的蜘蛛,所以就很难分辨是抓取还是访问,也是因为这点原因,很多人是不认可搜索引擎的蜘蛛是分有抓取和访问的。

如果从技术逻辑层面去思考的话,蜘蛛应该是有访问和抓取的区别。

我们看不到的、不表达没有,尤其是技术层面的东西就更是无法认定有还是没有,如果从技术逻辑的层面去细心的思考这个问题,那很大的可能性是分有访问和抓取的工作区别。

国内大部分搜索引擎普遍存在蜘蛛过来了,但是网站内容页面不收录,这是算什么呢,很大可能性只是来访问,发现了网站内容页面,为什么不抓取呢,因为收录是肯定先要抓取的。

还有一种普遍的情况就是网站内容页面被蜘蛛访问了,但是过段时间就会被收录,但是这中间时段并没有蜘蛛过来了,那这如何解释访问和抓取的区别,目前能解释的是先前蜘蛛就是抓取,然后执行的是内部的模拟访问+页面分析+内容判断+预存评估。

其实只要是搜索引擎的蜘蛛过来就行,不用太在意是抓取还是访问。

不同的搜索引擎技术的蜘蛛工作方式是有区别的,不是说谁的差谁的强,只是从已经公开知道的事实就是搜索引擎会模拟用户进行正常的浏览访问,可以理解为页面检测诊断,否则搜索引擎如何知道已经收录的页面是否存在某些问题呢,用最节省资源的蜘蛛行为进行不定时的复访。

但是SEO黑帽技术中有一项就是针对搜索引擎的蜘蛛访问的手段,用户访问的是真实的广告落地页(A),而蜘蛛访问的是伪造的干净落地页(B),简称“蜘蛛访问页”,他的难度在于要收集没有蜘蛛标识的IP地址进行识别区分访问AB页。

结尾段:我们不要去纠结蜘蛛是抓取还是访问的区别,这是个长篇大论的事情,本文只是简单介绍最基础的对蜘蛛的看法,仅供额外的研究参考。

搜索引擎对网站内容页面的收录和释放(索引)问题

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=6445

分享给朋友:

“搜索引擎蜘蛛的抓取和访问的区别” 的相关文章

哪些原因会造成网站收录和排名下降

哪些原因会造成网站收录和排名下降

大家都知道我们做网站推广时都比较注重网站收录和网站排名,最近有些站长朋友反映自己网站百度收录量下降,网站排名有不小波动。当我们的网站出现上面的问题时,我们需要找到原因,然后进行改正,解决相关问题,不要一味的抱怨。今天笔者就跟大家说说哪些原因会造成网站收录和排名下降?第一、网站域名和服务器原因1、网站...

增加网站收录的妙招有哪些

增加网站收录的妙招有哪些

我们在做网站的时候,网站的收录是每个站长朋友每天要关注的事情,并且是日常工作必查之一。因为在在衡量网站权重的指标中,网站收录已经位居第二,由此可见网站收录是非常重要,虽说网站收录量不能直接影响网站排名,但是我们可以发现高质量的文章得以收录,就会给网站带来难以预估的自然流量,并且他可以反映出你在搜索引...

你的SEO关键词过时了吗?

你的SEO关键词过时了吗?

近年来,伴随着互联网浪潮的全面铺开,互联网生态已经发生了巨大且迅速的变化。人们在互联网上的互动模式已经度过了Web1.0的扁平时代,经历了 Web2.0的繁荣时代。如今,无论我们有没有做好准备,我们都已经无可争议地站在了Web3.0时代的大门口。这意味着,我们必须意识到,我们习以为常的互联网其实一直...

网络营销SEO应该做好哪些工作?

网络营销SEO应该做好哪些工作?

大力推广互联网的发展,很多的企业都要接触互联网,但大部分企业不了解互联网,在互联网面前无从下手,都达不到预期的效果, 那么然后可以在网络行业打造一番事业呢,下面给大家介绍下网络营销SEO应该做好哪些工作?1、服务器要选择好企业网站在选择服务器的时候应该结合自己网站的实际规模和企业未来的发展计划,既可...

网站运营入门之网站空间选择方法和技巧

网站运营入门之网站空间选择方法和技巧

我们在做网站运营时很多时候会忽略网站空间这一因素,尤其是新手站长朋友。对于一个网站来说空间是我们做好网站运营的前提,一个稳定、访问速度快的空间对于日后做网站所起到的推动作用不言而喻。今天就跟大家分享一下网站运营入门之网站空间选择方法和技巧,希望对大家有所帮助。其实,我们在为网站选择空间主机的时候不要...

再谈为网站选择关键词的技巧与操作手法

再谈为网站选择关键词的技巧与操作手法

随着百度,谷歌等搜索引擎的日益强大,搜索优化的日趋成熟,网站的搜索推广也变得越来越难。为网站选择合适的关键词就成了我们做好网站推广的重中之重,今天笔者就跟大家分享一下为网站选择关键词的技巧与操作手法,希望对大家有所帮助。第一、选择的关键字要和网站相关就是网站关键词的相关性,在选择关键词时要根据网站自...