当前位置:首页 > SEO知识 > 正文内容

什么是网站robots.txt文件的作用,网站robots写法

admin2年前 (2023-03-20)SEO知识376

我们在做网站的时候,一个完整的网站要有301重定向、404页面和robots.txt文件这些都是做网站必须要有的,有经验的站长知道301重定向的目的是为了集权,404是在网站出现死链的时候引导蜘蛛以及增加用户体验。

那什么是网站robots.txt文件的作用,网站robots写法。今天小编就来为大家科普下关于robots.txt文件。

什么是网站robots.txt文件?

robots协议(也称为爬虫协议、爬虫规则、机器人协议 等)也就是robots.txt。

robots.txt文件是存放在网站根目录下面的一个TXT文本文档。它是网站和蜘蛛之间的一个协议。

网站通过robots协议告诉搜索 引擎哪些页面可以抓取,哪些页面不希望被抓取。推荐关注(深圳SEO培训)

robots文件的作用呢?

如果你网站根目录有robots.txt这样一个文件,那蜘蛛在爬行你网站的时候就会首先访问这个文件(robots文件一般都要存放在根目录,蜘蛛第一个访问的文件,因此这个文件是很重要的)。

robots文件的作用是告诉搜索引擎蜘蛛,网站的哪些文件夹可以抓取,哪些文件夹不能抓取,从而确保我们网站的隐私内容不会被收录。

网站robots写法:

* 代替0或者任意多的字符

$ 结束符号,圈定以xxx结尾的文件

? 动态页面专用 推荐阅读(什么是网站地图)

接下来robots的书写格式:

每行的首字母都大写

必须使用英文输入法书写

(注意)User-agent , Disallow , allow后面跟英文的冒号再加空格然后才能继续书写。

各大搜索引擎蜘蛛的名称写法:

1、百度蜘蛛:Baiduspider

百度蜘蛛名称为Baiduspider日志中还发现了Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

2、谷歌蜘蛛:Googlebot ,Googlebot-Mobile,看名字是抓取wap内容的

3、360蜘蛛:360Spider,这个家伙比较勤劳

4、SOSO蜘蛛:Sosospider,比360更加勤劳

5、雅虎蜘蛛:Yahoo! Slurp China

6、有道蜘蛛:YoudaoBot

7、搜狗蜘蛛:Sogou News Spider

搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,等等、、、、、、

8、MSN蜘蛛:msnbot,msnbot-media

9、必应蜘蛛:bingbot

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=23693

分享给朋友:

“什么是网站robots.txt文件的作用,网站robots写法” 的相关文章

查看Google自然搜索热度的办法,第2个细节亮了!

查看Google自然搜索热度的办法,第2个细节亮了!

市场动态瞬息万变,很难掌握用户需求的发展势态。如何实时地了解用户搜索和关注哪些关键词,就需要借助到我们今天的主角——Google Trends(谷歌趋势:https://trends.google.com)。 了解受众群体所关注方面的搜索趋势和热度范围等,可以及时调整如谷歌广告系列吸引潜在...

SEO入门培训课程

SEO入门培训课程

SEO是什么?大家口中的SEO(Search Engine Optimization),中文翻译为搜索引擎优化,从本质上来说,其实就是如何迎合搜索引擎的规则,使得网站在搜索结果中能有更好的排名。比如一个PDA行业网站,当用户输入“PDA数据采集器”,在没有进行SEO的情况下,也许这个网站排在第2页或...

网站关键词词库怎么做?

网站关键词词库怎么做?

在现代互联网时代,网站的优化工作已经成为了一个必不可少的环节,其中关键词的选择和使用就显得格外的重要。关键词词库是一个必须要拥有的工具,而且在网站优化过程中占据着非常重要的位置。那么什么是关键词词库呢?它又有什么作用?如何建立起一个良好的关键词词库?下面我们将逐一解答这些问题。一、什么是关键词词库?...

SEO黑帽技术有哪些(一分钟了解八种常见的黑帽手法)

SEO黑帽技术有哪些(一分钟了解八种常见的黑帽手法)

小编是不建议使用黑帽手法的,一旦被搜索引擎发现后惩罚是比较严重的,不过关于黑帽手法我们还是要有所了解的,可以使我们避开这些雷区。1.关键词堆积常见的关键词堆积手法有:标题、描述、网站首页头部和底部、文章内容中、关键词标签中、链接锚文本中、图片alt属性中堆积关键词等等。这是最常见的一种黑帽手法,在网...

做网站推广时应避免哪些常见误区

做网站推广时应避免哪些常见误区

现在网络上充斥着各种关于网站推广方法的文章,其中确实有很多方法能产生不错的效果,但是只有正确的使用才能节省时间,以最小的精力做更多的事。因为在在网站优化的过程中,往往需要很多网站推广技巧,而往往在利用这些技巧的过程中,很多站长朋友容易进入误区,特别是一些新人站长,经验不足,喜欢跟风,别人说做就做,别...

dede网站优化怎么做?dede优化SEO教程

dede网站优化怎么做?dede优化SEO教程

为什么要用dede插件?如何利用dede采集插件让网站收录以及关键词排名。所谓的内容。把他理解为网站的内部优化。内部优化不单单指网站的内容,它包含了很多方面。这其中需要注意的包括关键词分析部署、网站结构、页面等。结构优化的目的大家都懂,无外乎用户体验度,搜索引擎收录以及权重关系等。这些都是和网站的内...