当前位置:首页 > SEO培训 > 正文内容

Robots.txt是什么意思,有什么作用

admin3年前 (2022-07-20)SEO培训437

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。

spider在访问一个网站时,会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。

您可以在您的网站中创建一个纯文本文件robots.txt,在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎蜘蛛只收录特定的部分。

这里提醒一下,请注意:当你网站不希望搜索引擎全部收录时才用到robots.txt文件(比如你网站后台页面)如果你希望搜索引擎全部收录你的网站,请建立一个空的robots.txt文件。

1.首先告诉大家robots.txt文件要放在你网站的根目录里面。当你修改了你的robots.txt一般会在48小时内生效(对于搜索引擎来说)。

2.如果你要禁止搜索引擎在搜索你网站时显示快照,而只对你的网站索引,什么办呢? 百度支持通过设置网页的meta,防止搜索引擎显示网站的快照。方法如下:

要防止所有搜索引擎显示您网站的快照,请将此元标记置入网页的 <HEAD> 部分:
<meta name=”robots” content=”noarchive”>
要允许其他搜索引擎显示快照,但仅防止百度显示,请使用以下标记:
<meta name=”baiduspider” content=”noarchive”>

注:此标记只是禁止百度显示该网页的快照,百度会继续为网页建索引,并在搜索结果中显示网页摘要。

3.我们来看一下如何写robots.txt,他的格式是什么样的。

该文本是以 User-agent: 作为文本记录开头的。这个值有什么样呢?它是来描述搜索引擎robots的名字。
比如说你要专指百度搜索引擎你就可以写为 User-agent: baiduspider
同样的谷歌就是 User-agent:googlespider  比如你要描述SOSO图片蜘蛛你可以写 User-agent:Sosoimagespider 这样都可以 如果你要针对所有搜索引擎呢 User-agent: *就是所有搜索引擎全部概括了。
robots.txt 除了第一项 User-agent: 还有其他两项 Disallow:   Allow: 但是User-agent: 是唯一项 他后面可以加若干Disallow和Allow行 也就是这种格式
User-agent: *
Disallow:
Disallow:
Disallow:
Allow:
Allow:
Allow:

后面加多少个Disallow和Allow行都可以 是根据你需要来加的。好了我接着说Disallow,该项就是告诉搜索引擎我不希望我网站的那些网页收录的。你就可以用Disallow的描述来限制搜索引擎 我们来举个例子,比如我要限制所有搜索引擎不收录我的后台目录admin那么我们什么做呢?来看一下
User-agent: *
Disallow:/admin/

如果是要显示百度不要收录我的这个目录其实搜索引擎可以什么做呢 前面我们说到了
User-agent: baiduspider
Disallow:/admin/

你问如果是要禁止所有搜索引擎访问全站应该什么办呢?我们来看一下
User-agent: *
Disallow:/

如果要禁止访问多个文件夹呢 比如我要禁止访问 Admin  image  data 3个文件夹
User-agent: *
Disallow:/Admin/
Disallow:/image/
Disallow:/data/

我们来解释一下Allow行是做什么的?其实这个Allow和Disallow是相反的。Allow他的意思就是希望搜索引擎访问我网站的一下路径,Allow通常与Disallow搭配使用。下面我们举个例子:
我要允许访问特定目录中的部分url 比如我不要他访问我Admin目录 但是我希望他访问我Admin目录里面的hdd.html 什么办呢?这时候我们就可以用到Allow了 来看例子
User-agent: *
Allow:/admin/hdd
Disallow:/Admin/

顺便所一下 在robots.txt里面可以使用”*”和”$”:baiduspider支持使用通配符”*”和”$”来模糊匹配url。
“$” 匹配行结束符。
“*” 匹配0或多个任意字符。

举个例子: 使用”*”限制访问url     。禁止访问/iea/目录下的所有以”.htm”为后缀的
URL(包含子目录)。
User-agent: *
Disallow:/iea/*.htm

再来举个例子 关于使用”$”限制访问url , 仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=1125

标签: robots.txt
分享给朋友:

“Robots.txt是什么意思,有什么作用” 的相关文章

我们常说的站内SEO优化,到底在优化什么?

我们常说的站内SEO优化,到底在优化什么?

       我们都是说,SEO,不就是搜索引擎优化么。搜索引擎分为站内SEO与站外SEO。  站外SEO就是换链接,然后站内SEO,不就是改关键词三要素就可以了么?真正站内SEO真这么简单,只怕傻子都不信。  那到底站内SEO优化在优化什么?  先说下总体...

设计好网站首页需要注意哪些方面

设计好网站首页需要注意哪些方面

大家都是知道网站首页是网站的精华所在,往往我们会通过一个网站的首页来对网站进行评价,今天笔者就跟大家分享一下设计好网站首页需要注意哪些方面,希望对大家有所帮助。第一:网站首页要有立刻引起注意的简明标题一句清楚、有力,又能感动人的网站标题,让使用者一秒就被抓着,然后想要再逛看看;当撰写这个标题的时候,...

教育培训领域seo推广容易发生的误区

教育培训领域seo推广容易发生的误区

对于我们教育培训领域的用户(学员)来说。现在的学习课程泪目五花八门学习的种类也是五花八门的形式比方说有传统的图文资料,线下面授,以及音频,短视频,长视频等等各种各样的形式,五花八门的。 而且各个教会机构的话不管是线上还是线下的都会。不断...

香港虚拟主机对SEO网站优化有什么影响?

香港虚拟主机对SEO网站优化有什么影响?

虽然很多站长用户对于 访问速度快、稳定性高、免备案等优点十分清楚,但是在建站时,尤其是做网站seo优化时,便会心生疑惑:使用香港主机对seo网站优化有什么影响?做过网站seo的用户都知道,其实影响网站优化的因素很多。除了网站本身的内容质量以外,主机空间对网站优化也存在一定的影响。那么今天,我们就先来...

实战讲解提高网站流量的方法

实战讲解提高网站流量的方法

逆冬:分享11月百度最新动态、实战讲解提高网站流量方法!时间进入2020.11月份、眼看又要过年!搜索引擎又有了比较大的变化、本篇给大家分享两个目前发现的百度已经变化(即将)变化的东西以及如何提高网站流量、还是那句话、希望大家防患于未然、而不是亡羊补牢!一、百度新站收录全部强制Https、无论你是不...

做好网站内容和用户体验是网站获得成功的关键

做好网站内容和用户体验是网站获得成功的关键

随着搜索引擎的不断发展,一个网站如果想获得成功就必须在网站内容和网站用户体验上下功夫。今天比较就跟大家分享一下自己经验,希望对大家有所帮助。第一:做好网站内容是关键“内容为王”原则依然是正确的,企业进行网站推广首先要完善网站内容,提高内容的质量和可读性。在企业网站的竞争环境里,流量固然是企业网站提高...