当前位置:首页 > SEO知识 > 正文内容

如何解决搜索引擎爬虫重复抓取问题

admin2年前 (2023-03-09)SEO知识248

针对每一位SEO从业者而言,爬虫每天来我们的网站进行网页的抓取,是十分宝贵的资源。

但在这中间由于爬虫无序的抓取,势必会浪费一些爬虫的抓取资源。

这中间我们就需要解决搜索引擎爬虫对我们的网页重复抓取的问题,下面赵彦刚与你一起来聊一下如何解决这个问题。

在聊这个问题之前,我们需要理解一个概念。首先爬虫本身是无序的抓取,他不知道先抓什么再抓什么,只知道看到了什么,且计算后认为有价值就进行抓取。

而对于我们而言,抓取的整个过程中,我们最要解决是如下几类:

●新产生的页面,没有被抓取过的

●产生了一段时间,迟迟不被抓取的

●产生了一段时间,却一直没收录的

●产生很久的页面,但最近更新了

●包含内容更多的聚合页面,如首页、列表页

如上几类,按照顺序我们定义哪一类最需要被爬虫抓取。

针对大型网站,搜索引擎爬虫抓取资源过剩,而针对小网站,抓取资源稀缺。所以在这里我们强调一下,我们不是要解决搜索引起爬虫重复抓取的问题,而是要解决搜索引擎爬虫最快的抓取我们希望抓取的页面。要把这个思路纠正!

下面,我们聊一下怎么让搜索引擎爬虫最快的抓取我们希望被抓取的页面。

爬虫是抓取到一个网页,从这个网页在找到更多的链接,周而复始的过程,那么这个时候我们就要知道要想被爬虫更大概率抓取,就要给更多的链接,让搜索引擎爬虫发现我们希望被抓取的网页。这里我拿上述的第一种情况举例说明一下:

新产生的页面,没有被抓取过的

这类一般都会是文章页,针对于这类我们的网站每天都会大量产生,所以我们就要在更多的网页给予这部分链接。例如首页、频道页、栏目/列表页、专题聚合页、甚至文章页本身,都需要具备一个最新文章板块,以此等待爬虫抓取到我们的任何网页时,都能发现最新的文章。

同时,试想一下,这么多页面都有新文章的链接,连接传递权重,那这新文章,既被抓取了,权重也不低。被收录的速度会明显提升。

那针对那些长时间不收录的,也可以考虑是不是权重太低了,我多给一些内链支持,传递一些权重。应该会有收录的可能。当然也有可能不收录,那你就要靠内容本身的质量了。之前有一篇文章是专门说内容质量的也欢迎大家阅读:什么内容容易被百度判断为优质内容?。

所以,我们为了解决搜索引擎爬虫重复抓取问题不是我们最终要解决的。因为本质上搜索引擎爬虫是无序的,我们只能通过针对网站的架构、推荐算法、运营策略等进行干预。使爬虫给予我们更理想的抓取效果。如果你不会根据爬虫的自身抓取效果进行优化网站,也可以联系我。

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=21006

分享给朋友:

“如何解决搜索引擎爬虫重复抓取问题” 的相关文章

什么是SEO搜索关键词,提高SEO流量的方法

什么是SEO搜索关键词,提高SEO流量的方法

根据用户搜索目的可以将关键词分为:产品或服务类的关键词,企业类的关键词,品牌类的关键词。比如你买空调前搜索空调这类就是产品或服务类关键词,这类关键词是很多企业网站优化时首先考虑的。企业类的关键词和品牌类的关键词就是用户根据企业名或者产品品牌名去搜索产品。关键词按照重要程度可分为:核心关键词、次要关键...

搜索引擎英文怎么说?SEO搜索引擎优化英文术语完整指南!

搜索引擎英文怎么说?SEO搜索引擎优化英文术语完整指南!

搜索引擎英文叫做Search Engine,从事SEO搜索引擎优化工作的人,常常会碰到各种SEO 英文专有名词,例如Index 叫做索引,Crawl 叫做爬取或是检索,Search intent 叫做搜索意图,Query 叫做查询… 等等,当你在看国外SEO 部落格的时...

互联网垃圾工厂—传说中的某些SEO

互联网垃圾工厂—传说中的某些SEO

首先这里我说的不是真正的SEOER,多数是一些所谓有的SEOER,他们根本不懂算法,也不懂体验,只知道外链,受“内容为王,外链为皇”的毒太深,也许是软文高手,也许是灌水机器,总之,这部分人都有一个共同点,他们都在做着同一件事,那就是到处发软文,留下他们的URL,生怕没有人知道他们的网站。可能,我写这...

seo优化和竞价优劣对比,做推广哪个好?

seo优化和竞价优劣对比,做推广哪个好?

对于很多中小企业来说,选择一种合适的推广方法是非常重要的,因为中小企业的推广预算有限,在这有限的预算里如果选错了推广方式,就会造成极大的损失,直接影响到企业的整体利润。其实大部分老板们并不怕花钱推广,他们害怕的是花出去的钱没有收到预期的效果,肉包子打狗一去不回。今天科牛就根据多年来的经验,跟大家聊一...

初学者如何学习GoogleSEO知识

初学者如何学习GoogleSEO知识

其实学习最基础最全最系统Google SEO知识的方法就是在Google的搜索中心,这里的SEO基础知识,有适合新手的初级SEO,也有适合一定经验的高级SEO。实际上我们看到的很多SEO博客和书上的策略都是从这里出去,只是他们在实践的时候有了一些细节的操作和建议。图片来源:google 搜索中心当我...

seo新手怎么入门?

seo新手怎么入门?

下面是小编收集的一些seo怎么入门的知识点, 希望能帮助到你新手必看SEO入门基础近年来,随着SEO行业的不断发展和扩散,产生了一系列相关的行业定位,所以现在它已经有了一定的规模,被越来越多的人所理解,随着SEO行业的逐渐成熟,如果你是一个零基础,如果你是一个新手,如果你想通过自学等方式融入SEO行...