当前位置:首页 > SEO知识 > 正文内容

搜索引擎爬虫的五大抓取策略

admin3年前 (2022-07-24)SEO知识600

搜索引擎爬虫抓取我们的网页,是实现SEO优化工作的第一步。如果没有抓取,网站就不会被搜索引擎收录,那也不会有排名了。所以针对每一个为SEO从业者,抓取是第一步!

实际上,大多数SEO从业者知道的搜索引擎抓取算法只有深度优先和宽度优先抓取两个策略。但实际不然,爬虫抓取的网页的策略有6个。再分享这6个策略之前,你务必,一定需要先看一下搜索引擎爬虫的工作流程,否则下面你可能会不太明白。

爬虫的宽度优先抓取策略

宽度优先抓取策略,一个历史悠久且一直被关注的抓取策略,从搜索引擎爬虫诞生至今一直被使用的抓取策略,甚至很多新的策略也是通过这个作为基准的。

宽度优先抓取策略是通过待抓取URL列表为基准进行抓取,发现的新链接,且判断为未抓取过的基本就直接存放到待抓取URL列表的末尾,等待抓取。

宽度优先抓取策略是通过待抓取URL列表为基准进行抓取.jpg

如上图,我们假设爬虫的待抓取URL列表中,只有A,爬虫从A网页开始抓取,从A中提取了B、C、D网页,于是将B、C、D放入到抓取队列,再依次获得E、F、G、H、I网页并插入到待抓取的URL列表中,以此类推,周而复始。

爬虫的深度优先抓取策略

深度优先抓取的策略是爬虫会从待抓取列表中抓取第一个URL,然后沿着这个URL持续抓取这个页面的其他URL,直到处理完这个线路后,再从待抓取的列表中,抓取第二个,以此类推。下面给了一个图解。

深度优先抓取的策略是爬虫会从待抓取列表中抓取第一个URL.jpg

A作为第一个从待抓取列表的URL,爬虫开始抓取,然后抓取到B、C、D、E、F,但B、C、D中都没有后续的链接了(这里也是会去掉已经抓取过的页面),从E中发现了H,顺着H,发现了I,然后就没有更多了。在F中发现了G,然后针对这个链接的抓取就结束了。从待抓取列表中,拿到下一个链接继续上述操作。

爬虫的非完全PageRank抓取策略

相信PageRank算法很多人都知道,我们SEO的大白话理解就是链接传递权重的算法。而如果应用在爬虫抓取上,是怎样的逻辑呢?首先爬虫的目的是去下载网页,与此同时爬虫不能看到所有的网页指向某一网页的链接,所以在抓取的过程中,爬虫是无法计算全部网页的pagerank的,就导致了在抓取过程中计算的pagerank不是太靠谱。

那非完全pagerank抓取策略,就是基于在爬虫不能看到所有网页指向某一网页的链接,而只能看到部分的情况,还要进行pagerank的计算结果。

它的具体策略就是对已经下载了的网页,加上待抓取的URL列表里的网页一起,形成一个汇总。在这个汇总内进行pagerank的计算。在计算完成后,待抓取的url列表里的每一个url都会得到一个pagerank值,然后按照这个值进行倒序排列。先抓取pagerank分值最高的,然后逐个抓取。

那问题来了?待抓取URL列表中,在末尾新增一个URL,就要重新计算一次吗?

实际不是这样的。搜索引擎会等到在待抓取URL列表的新增URL达到一定数量时,再进行重新抓取。这样效率会提升很多。毕竟爬虫抓取到新增的那第一个,也需要时间的。

爬虫的OPIC抓取策略

OPIC是online page importance computation的缩写,意思是“在线页面重要性计算”,这个是pagerank的升级版本。

它具体的策略逻辑是这样,爬虫把互联网上所有的URL都赋予一个初始的分值,且每个URL都是同等的分值。每当下载一个网页就把这个网页的分值平均分摊给这个页面内的所有链接。自然这个页面的分值就要被清空了。而对于待抓取的URL列表里(当然,刚才那个网页被清空了分值,也是因为它已经被抓取了),则根据谁的分值最高就优先抓取谁。

区别于pagerank,opic是实时计算的。这里提醒我们,如果单纯只考虑opic这个抓取策略来说。无论是这个策略还是pagerank策略都证实了一个逻辑。我们新产生的网页,被链接的次数越多,被抓取的概率就越大。

是不是值得你思考一下你的网页布局了?

爬虫抓取的大站优先策略

大站优先抓取,是不是就顾名思义了呢?大型网站就会有先抓取?不过这里是有两种解释的。我个人认为这两种解释爬虫都在使用。

大站优先抓取的解释1:比较贴合字面意思,爬虫会根据待抓取列表中的URL进行归类,然后判断域名对应的网站级别。例如权重越高的网站所属域名越应该优先抓取。

大站优先抓取解释2:爬虫将待抓取列表里的URL按照域名进行归类,然后计算数量。其所属域名在待抓取列表里数量最多的优先抓取。

这两个解释一个是针对网站权重高的,一个是针对每天文章发布数量高且发布很集中的。不过我们试想一下,发布那么集中且那么多篇的站点,一般也都是大站了吧?

这里让我们思考的是什么呢?

写文章的同时,应该集中一个时间点推送给搜索引擎。不能一个小时一篇,太分散。不过这个有待考证,有经历的同学可以进行一下测试。

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=2088

分享给朋友:

“搜索引擎爬虫的五大抓取策略” 的相关文章

SEO报价方案,多少钱是合理范围?

SEO报价方案,多少钱是合理范围?

作为一个seo优化公司,seo技术往往不是最主要的问题,与客户沟通才是重点,而客户是各式各样的,我们经常会遇到客户不理解我们所给出的seo报价方案,认为一个几页word的方案为什么会价值几千甚至几万以上,其实面对这个问题,我们也很无奈,我们的目标是为客户解决问题,但解决问题也是需要有成本的,所以我们...

SEO外链应该怎么做? 什么样的链接是好链接

SEO外链应该怎么做? 什么样的链接是好链接

查看关键词排名时,我们会注意到排名与外部链接绝对数量之间并没有直接对应关系。很多外部链接数目较少的页面会排在有很多外部链接的页面之上。这也是很多SEO新手的困惑,为什么自己的页面外部链接很多,排名却不如只有几个链接的竞争对手?这与外部链接的质量有很大关系。下面从比较理想的情况讨论好的外部链接应该具备...

SEO是什么职业,日常工作有哪些?‍

SEO是什么职业,日常工作有哪些?‍

SEO是什么职业?如果你不在搜索行业,你可能真的回答不了这个问题,简单来说,我们认为SEO属于互联网行业,但我们都知道SEO是一个分工明确的体系,每一项工作,都需要具备不同的职业技能。同时,我们认为不同经验的SEO从业者,针对SEO是什么职业的问题,也是有不同的理解。那么,SEO是什么职业,日常工作...

SEM与SEO有什么区别是什么?这两种营销方式的区别在哪里?

SEM与SEO有什么区别是什么?这两种营销方式的区别在哪里?

在竞争激烈的互联网营销中,决定了方式的多样,更是意味着营销不能只使用单一的推广方式,而是需要运用多条腿走路,从不同维度去捕获用户的需求,抓住用户流量。然而,SEM竞价和SEO优化都是大多部分企业优先选择的方式。但是,SEM和SEO两种营销方式是存在着异同处的,需要看碟下菜的。所以,今天一起来看下SE...

网站SEO之后,还需要做百度竞价吗

网站SEO之后,还需要做百度竞价吗

最近,小编经常遇到很多企业主问:网站做了SEO,还有必要在做百度竞价吗 ;对于此类问题并不能单一做答,SEO或者SEM (百度竞价)二者都有其独特的优势。今天北极星SEO就为大家讲解下这个问题。搜索引擎优化优缺点:优点:搜索引擎优化的优势在于成本合理,没有任何点击成本,所以,对于能够通过SEO优化达...

如何设置和处理网站404错误页面

如何设置和处理网站404错误页面

大家都知道我们在建设网站的过程中,很难避免出现被删除的页面,这时唯有依赖404页面来帮助我们解决问题。所谓404页面主要指的是在运营网站的过程中,当用户点击了某个网页,却出现打不开的问题,此时就需要弹出一个页面,告诉搜索引擎和用户输入的网址出现错误,或者这是一个死链接,百度蜘蛛需要绕行,引导用户点击...