当前位置:首页 > SEO网站 > 正文内容

关于网站robots协议,看这篇就够了

admin2年前 (2023-02-26)SEO网站208

robots是搜索引擎爬虫协议,也就是你网站和爬虫的协议。

简单的理解:robots是告诉搜索引擎,你可以爬取收录我的什么页面,你不可以爬取和收录我的那些页面。robots很好的控制网站那些页面可以被爬取,那些页面不可以被爬取。

主流的搜索引擎都会遵守robots协议。并且robots协议是爬虫爬取网站第一个需要爬取的文件。爬虫爬取robots文件后,会读取上面的协议,并准守协议爬取网站,收录网站。

robots文件是一个纯文本文件,也就是常见的.txt文件。在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。因此,robots的优化会直接影响到搜索引擎对网站的收录情况。

robots文件如下图

存放目录

robots文件必须要存放在网站的根目录下。也就是 域名/robots.txt 是可以访问文件的。你们也可以尝试访问别人网站的robots文件。 输入域名/robots.txt 即可访问。

robots写作语法

首先我们来看一个范例(下图)

user-agent这句代码表示那个搜索引擎准守协议。user-agent后面为搜索机器人名称,如果是“*”号,则泛指所有的搜索引擎机器人;案例中显示“User-agent: *” 表示所有搜索引擎准守,*号表示所有。

Disallow是禁止爬取的意思。Disallow后面是不允许访问文件目录(你可以理解为路径中包含改字符、都不会爬取)。案例中显示“Disallow: /?s*” 表示路径中带有“/?s”的路径都不能爬取。 *代表匹配所有。 这里需要主机。 Disallow空格一个,/必须为开头。

如果“Disallow: /” 因为所有路径都包含/ ,所以这表示禁止爬取网站所有内容。

如果没有被禁止到的路径,默认为可以被爬取。

关于robots的注意事项

1、不要禁止爬虫爬取网站的所有,因为从经验来看,如果屏蔽一次,解封后好一段时间爬虫都不会来你网站,收录成为问题。

2、代码后需要【冒号+空格+斜杆】 ,比如“Disallow: /*?* ”

3、当网站为静态路径时,需要屏蔽掉所有动态链接。网站中存在一种链接被收录即可,避免一个页面2个链接。代码如下“Disallow: /*?* ”表示禁止所有带 ?号的网址被爬取。通常动态网址带有“?”“=”等。

4、根据自己网站情况定,屏蔽不需要收录的网址。

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=13105

分享给朋友:

“关于网站robots协议,看这篇就够了” 的相关文章

网站SEO优化中常说的相关性主要体现在哪些方面?

网站SEO优化中常说的相关性主要体现在哪些方面?

网站的相关性是指网站内容和用户搜索的关键词匹配程度,在网站SEO优化中是离不开网站的相关性优化的,网站的相关性越高,网站的关键词排名也会越高,下面小编来跟大家聊一下网站SEO优化中常说的相关性主要体现在哪些方面。1、网站的TDK标签相关性在一个网站中,越靠前的内容是越重要的,而搜索引擎来到一个网站后...

提升网站排名,SEO优化至关重要

提升网站排名,SEO优化至关重要

如果一个网站想要长期发展,首先要注意的是排名。SEO优化可以提高网站的排名,所以SEO优化非常重要。但是SEO优化不是一蹴而就的,涉及到非常复杂的内容。实现网站优化的过程主要包括三个环节:一、网站内部优化对于提高网站排名非常重要1.优化META标签:内容标题。关键词和内容摘要都是标签优化的目标。2....

SEO优化为什么要研究关键词

SEO优化为什么要研究关键词

原标题:SEO优化为什么要研究关键词很多关注冬镜的小伙伴都知道我已经很久没更新了,网站也很少打理了,其实不是没关注SEO优化这块,但是大家一定要记得SEO优化并不只是网站SEO优化,我们要会学全网优化营销,其它废话不多说,今天冬镜就和大家聊聊SEO优化中为什么要研究关键词?SEO优化为什么要研究关键...

手把手教你做好SEO

手把手教你做好SEO

乐天电商培训前言一个人只拥有此生此世是不够的。他还应该拥有诗意的世界。——王小波当前浏览器不支持播放音乐或语音,请在微信或其他浏览器中播放蓝莲花音乐:许巍 - 时光·漫步一搜索流量优化的重要性1、京东搜索结果页数据统计分析关键词搜索结果页个排序方式入口:搜索不同排序方式入口下的流量占比搜索不同排序方...

网站建设seo中关于H标签的优化策略

网站建设seo中关于H标签的优化策略

稍微懂点网站建设的朋友想必都知道任何一个网站的前端页面都是由很多的HTML代码标签元素构成的。而搜索引擎本身就是一个结构功能非常复杂的程序,它想要识别我们建设的网站必然会先从我们页面的代码标签入手。而且作为优化人员,合理、正确的运用H标签能够对优化的效果有着事半功倍的作用。下面,小美来和大家一起解读...

如何对H标签进行优化呢?

如何对H标签进行优化呢?

H标签也叫做heading标签,其主要作用就是为了强调网站内容中的所有标题的主次性。H标签一共分为六种,分别是h1、h2、h3、h4、h5、h6,这些标签主要用在页面中显示不同级别的标题。一、H标签的作用H标签是HTML源代码中的标题标签,其作用主要有以下两点。1、对用户的作用网站内容使用了H标签,...