当前位置:首页 > SEO培训 > 正文内容

Robots.txt是什么意思,有什么作用

admin4年前 (2022-07-20)SEO培训924

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。

spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。

您可以在您的网站中创建一个纯文本文件robots.txt,在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎蜘蛛只收录特定的部分。

这里提醒一下,请注意:当你网站不希望搜索引擎全部收录时才用到robots.txt文件(比如你网站后台页面)如果你希望搜索引擎全部收录你的网站,请建立一个空的robots.txt文件。

1.首先告诉大家robots.txt文件要放在你网站的根目录里面。当你修改了你的robots.txt一般会在48小时内生效(对于搜索引擎来说)。

2.如果你要禁止搜索引擎在搜索你网站时显示快照,而只对你的网站索引,什么办呢? 百度支持通过设置网页的meta,防止搜索引擎显示网站的快照。方法如下:

要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的 <HEAD> 部分:
<meta name=”robots” content=”noarchive”>
要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:
<meta name=”baiduspider” content=”noarchive”>

注:此标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在搜索结果中显示网页摘要。

3.我们来看一下如何写robots.txt,他的格式是什么样的。

该文本是以 User-agent: 作为文本记录开头的。这个值有什么样呢?它是来描述搜索引擎robots的名字。
比如说你要专指百度搜索引擎你就可以写为 User-agent: baiduspider
同样的谷歌就是 User-agent:googlespider  比如你要描述SOSO图片蜘蛛你可以写 User-agent:Sosoimagespider 这样都可以 如果你要针对所有搜索引擎呢 User-agent: *就是所有搜索引擎全部概括了。
robots.txt 除了第一项 User-agent: 还有其他两项 Disallow:   Allow: 但是User-agent: 是唯一项 他后面可以加若干Disallow和Allow行 也就是这种格式
User-agent: *
Disallow:
Disallow:
Disallow:
Allow:
Allow:
Allow:

后面加多少个Disallow和Allow行都可以 是根据你需要来加的。好了我接着说Disallow,该项就是告诉搜索引擎我不希望我网站的那些网页收录的。你就可以用Disallow的描述来限制搜索引擎 我们来举个例子,比如我要限制所有搜索引擎不收录我的后台目录admin那么我们什么做呢?来看一下
User-agent: *
Disallow:/admin/

如果是要显示百度不要收录我的这个目录其实搜索引擎可以什么做呢 前面我们说到了
User-agent: baiduspider
Disallow:/admin/

你问如果是要禁止所有搜索引擎访问全站应该什么办呢?我们来看一下
User-agent: *
Disallow:/

如果要禁止访问多个文件夹呢 比如我要禁止访问 Admin  image  data 3个文件夹
User-agent: *
Disallow:/Admin/
Disallow:/image/
Disallow:/data/

我们来解释一下Allow行是做什么的?其实这个Allow和Disallow是相反的。Allow他的意思就是希望搜索引擎访问我网站的一下路径,Allow通常与Disallow搭配使用。下面我们举个例子:
我要允许访问特定目录中的部分url 比如我不要他访问我Admin目录 但是我希望他访问我Admin目录里面的hdd.html 什么办呢?这时候我们就可以用到Allow了 来看例子
User-agent: *
Allow:/admin/hdd
Disallow:/Admin/

顺便所一下 在robots.txt里面可以使用”*”和”$”:baiduspider支持使用通配符”*”和”$”来模糊匹配url。
“$” 匹配行结束符。
“*” 匹配0或多个任意字符。

举个例子: 使用”*”限制访问url     。禁止访问/iea/目录下的所有以”.htm”为后缀的
URL(包含子目录)。
User-agent: *
Disallow:/iea/*.htm

再来举个例子 关于使用”$”限制访问url , 仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://www.laosuseo.com/?id=1125

标签: robots.txt
分享给朋友:

“Robots.txt是什么意思,有什么作用” 的相关文章

要想稳定网站排名需要从哪里入手

要想稳定网站排名需要从哪里入手

现在搜索引擎算法在不断的更新,行业竞争越来越激烈的今天,很多本来排名不错的站长们每天也是不踏实,害怕辛苦得来的排名不翼而飞,那么如何稳定得之不易的排名呢? 要想稳定网站排名需要从哪里入手呢?第一:稳定安全的网站服务器空间网站服务器空间要安全稳定,因为如果你的网站关键词排名上来了,流量会变大...

如何使发布的文章也获得不错的排名

如何使发布的文章也获得不错的排名

很多时候一个网站如果想给公司带来实际的利润,就需要有一定的流量,网站主关键词排名靠前会给网站带来不是流量,不过只有让网站更新的文章排名越靠前,文章才能被更多的人看到,网站才能带来更大的流量。今天就跟大家分享一下如何使发布的文章也获得不错的排名。第一、文章标题要突出关键词,做好长尾关键词通常我们在写一...

策略分析谷歌推广SEO优化的优缺点

策略分析谷歌推广SEO优化的优缺点

原标题:策略分析谷歌推广SEO优化的优缺点 分析谷歌SEO优化的优缺点 提升谷歌排名优化技巧 什么是搜索引擎优化?搜索引擎优化,网站优化,又或者SEO,是指利用各大搜索引擎的不同规则算法,帮助自家网站提升在各大搜索引擎内的自然排名。 编辑...

网站SEO排名不稳定怎么办

网站SEO排名不稳定怎么办

网站排名优化|网站seo效果不稳定?注意这几个细节网站一直是自己在运营,但seo的效果不太稳定,在网上看到我们的信息后便给我们留言,想给网站做一下优化。seo路上有人指导总是事半功倍的,我们和刘总讲解了一些规划和技巧后,他觉得比较有用,便与我们签订了合作,顺便把1688店铺也交给我们打理。把网站排名...

零基础如何快速学好SEO技术呢?

零基础如何快速学好SEO技术呢?

在这个互联网时代,说到SEO并不陌生吧,有很多小伙伴也从事这样一份工作,SEO可以说是需要长期坚持,不是说做一两个月就会有很好的效果,有时做时间长会感觉到乏味,需要从各个细节去突破,接下来就一起看看零基础如何学习SEO技术。 一、最好付出时间的准备...

SEO工作如何从零开始学习

SEO工作如何从零开始学习

互联网时代,只要有搜索引擎,就有SEO。所以SEO不仅不会过时,还有越来越多的企业开始重视,那么如何从零开始学习SEO呢? SEO的工作主要就是搜索引擎优化,是为了让优化的网站在搜索结果页有良好的排名,那么学习SEO第一步就要先了解搜索引擎。 1、什么是搜索引擎?...