当前位置:首页 > SEO知识 > 正文内容

什么是网站robots.txt文件的作用,网站robots写法

admin2年前 (2023-03-20)SEO知识349

我们在做网站的时候,一个完整的网站要有301重定向、404页面和robots.txt文件这些都是做网站必须要有的,有经验的站长知道301重定向的目的是为了集权,404是在网站出现死链的时候引导蜘蛛以及增加用户体验。

那什么是网站robots.txt文件的作用,网站robots写法。今天小编就来为大家科普下关于robots.txt文件。

什么是网站robots.txt文件?

robots协议(也称为爬虫协议、爬虫规则、机器人协议 等)也就是robots.txt。

robots.txt文件是存放在网站根目录下面的一个TXT文本文档。它是网站和蜘蛛之间的一个协议。

网站通过robots协议告诉搜索 引擎哪些页面可以抓取,哪些页面不希望被抓取。推荐关注(深圳SEO培训)

robots文件的作用呢?

如果你网站根目录有robots.txt这样一个文件,那蜘蛛在爬行你网站的时候就会首先访问这个文件(robots文件一般都要存放在根目录,蜘蛛第一个访问的文件,因此这个文件是很重要的)。

robots文件的作用是告诉搜索引擎蜘蛛,网站的哪些文件夹可以抓取,哪些文件夹不能抓取,从而确保我们网站的隐私内容不会被收录。

网站robots写法:

* 代替0或者任意多的字符

$ 结束符号,圈定以xxx结尾的文件

? 动态页面专用 推荐阅读(什么是网站地图)

接下来robots的书写格式:

每行的首字母都大写

必须使用英文输入法书写

(注意)User-agent , Disallow , allow后面跟英文的冒号再加空格然后才能继续书写。

各大搜索引擎蜘蛛的名称写法:

1、百度蜘蛛:Baiduspider

百度蜘蛛名称为Baiduspider日志中还发现了Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

2、谷歌蜘蛛:Googlebot ,Googlebot-Mobile,看名字是抓取wap内容的

3、360蜘蛛:360Spider,这个家伙比较勤劳

4、SOSO蜘蛛:Sosospider,比360更加勤劳

5、雅虎蜘蛛:Yahoo! Slurp China

6、有道蜘蛛:YoudaoBot

7、搜狗蜘蛛:Sogou News Spider

搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,等等、、、、、、

8、MSN蜘蛛:msnbot,msnbot-media

9、必应蜘蛛:bingbot

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=23693

分享给朋友:

“什么是网站robots.txt文件的作用,网站robots写法” 的相关文章

SEO搜索引擎优化——被严重低估网络营销核心技能

SEO搜索引擎优化——被严重低估网络营销核心技能

微信如日中天,短视频声名鹊起,总有各种所谓的黑科技面世供人追逐,但追来追去的好像总是那波人,追了那么久还是一身三脚猫功夫,环境一变立马喝西北风。渐渐地,竟然有人时不时地跟洒家嘀咕,老徐啊,啥是SEO啊;百度那么恶心,这种东西就不用学了吧;SEO有蛋用?每当这个时候,对泛泛之交,俺最多不咸不淡来一句,...

seo怎么学以及学习方法分享

seo怎么学以及学习方法分享

seo该学些什么seo入门简单,且学好之后能有一番作为,导致很多朋友在通过各种方式学习seo。seo学习的方式多种多样,参加seo培训,实地学习,跟着seo高手优化站点等等。掌握必备的基础是有利于做seo的,seo应该学些什么,有哪些是建议掌握的?seo教程自学网已经有大量的seo类教程,包括seo...

几个常见的SEO误区

几个常见的SEO误区

在网络营销领域,很多企业或个人网站对SEO的认知或多或少都存在一些误区,往往就会遇到一定的瓶颈困境从而陷入一种迷茫的状态。下面和大家讨论一下最常见也是最致命的几个SEO误区,只想希望大家在操作SEO时能够少走弯路。每个人都有自己的见解,请自行汲取,欢迎吐槽。1、网站SEO优化得好,就能带来销售转化为...

网站快照不更新怎么办

网站快照不更新怎么办

网站快照是提升网站排名非常有效的手段之一,网站快照在一定程度上反应了网站在搜索引擎上的更新时间,时间越近表示网站更新频率高,所以,网站百度快照不更新,需要引起重视,下面小编来跟大家聊一下网站快照不更新怎么办。1、坚持内容定期更新网站SEO优化是一项长期的工作,不能在两天捕鱼三天晒网的,所以必须定期更...

SEO之工作原理及站内优化

SEO之工作原理及站内优化

最近读了Nike创始人Phil Knight的书Shoe Dog,一度泪崩。里面很多的情节都能给我带来不一样的阅读体验,真的是很振奋人心的那种。哈哈哈,你以为我在讲鸡汤,可能吧,作为一个有名的企业家,他的经历有些可能也会经过美化,但是我觉得但凡能做出大事业的人,肯定还是有值得我们学习的地方,比如他对...

新手也能做好SEO的操作大纲

新手也能做好SEO的操作大纲

现在很多公司和个人都有自己的个人网站,他们也知道SEO优化可以让自己的网站有更好的排名、人气和流量。那么如何优化你的网站呢?今天想和大家分享一下网站优化的大纲,分为五个部分。一、优化网站结构1.代码结构:简化对于搜索引擎来说,爬取是网站的代码,所以代码结构越简单,spider爬行效率就越高。如何简化...