当前位置:首页 > SEO知识 > 正文内容

什么是网站robots.txt文件的作用,网站robots写法

admin2年前 (2023-03-20)SEO知识350

我们在做网站的时候,一个完整的网站要有301重定向、404页面和robots.txt文件这些都是做网站必须要有的,有经验的站长知道301重定向的目的是为了集权,404是在网站出现死链的时候引导蜘蛛以及增加用户体验。

那什么是网站robots.txt文件的作用,网站robots写法。今天小编就来为大家科普下关于robots.txt文件。

什么是网站robots.txt文件?

robots协议(也称为爬虫协议、爬虫规则、机器人协议 等)也就是robots.txt。

robots.txt文件是存放在网站根目录下面的一个TXT文本文档。它是网站和蜘蛛之间的一个协议。

网站通过robots协议告诉搜索 引擎哪些页面可以抓取,哪些页面不希望被抓取。推荐关注(深圳SEO培训)

robots文件的作用呢?

如果你网站根目录有robots.txt这样一个文件,那蜘蛛在爬行你网站的时候就会首先访问这个文件(robots文件一般都要存放在根目录,蜘蛛第一个访问的文件,因此这个文件是很重要的)。

robots文件的作用是告诉搜索引擎蜘蛛,网站的哪些文件夹可以抓取,哪些文件夹不能抓取,从而确保我们网站的隐私内容不会被收录。

网站robots写法:

* 代替0或者任意多的字符

$ 结束符号,圈定以xxx结尾的文件

? 动态页面专用 推荐阅读(什么是网站地图)

接下来robots的书写格式:

每行的首字母都大写

必须使用英文输入法书写

(注意)User-agent , Disallow , allow后面跟英文的冒号再加空格然后才能继续书写。

各大搜索引擎蜘蛛的名称写法:

1、百度蜘蛛:Baiduspider

百度蜘蛛名称为Baiduspider日志中还发现了Baiduspider-mobile(抓取wap)、Baiduspider-image(抓取图片)、Baiduspider-video(抓取视频)、Baiduspider-news(抓取新闻)。以上百度蜘蛛目前常见的是Baiduspider和Baiduspider-image两种。

2、谷歌蜘蛛:Googlebot ,Googlebot-Mobile,看名字是抓取wap内容的

3、360蜘蛛:360Spider,这个家伙比较勤劳

4、SOSO蜘蛛:Sosospider,比360更加勤劳

5、雅虎蜘蛛:Yahoo! Slurp China

6、有道蜘蛛:YoudaoBot

7、搜狗蜘蛛:Sogou News Spider

搜狗蜘蛛还包括如下这些:Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider,等等、、、、、、

8、MSN蜘蛛:msnbot,msnbot-media

9、必应蜘蛛:bingbot

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=23693

分享给朋友:

“什么是网站robots.txt文件的作用,网站robots写法” 的相关文章

网站地图有什么作用

网站地图有什么作用

建设网站已经是比较常见的事情了,已经过了新鲜的时代,有的人已经加入网络大家庭,而有的人仍在靠着单一的线下宣传。当我们在进行逛网站的时候,不知道大家是否发现了一件事,那便是大多数的网站都有着网站地图,个别网站还没有网站地图,它对于seo优化来说有着怎样的作用呢?关于企业网站是否需要做网站地图的问题,我...

TAG标签作用及其详细说明

TAG标签作用及其详细说明

今天在这里为大家来说说TAG标签作用及其详细说明,网站优化的人员对于TAG标签是比较熟悉的,因为它可以作为seo人员用来进行关键词布局还有更详细的说明,接下来我们就一起来看看。 Tag在中国并没有统一的中文名称,有的称之为分类,也有的称之为开放分类或大众分类,还有的称之...

简单地分析当下网站SEO优化

简单地分析当下网站SEO优化

随着互联网时代的普及发展,SEO优化行业也逐渐变得更透明,SEO优化从新启的一个概念到如今短短数年内另大部分企业都能够接受,能够花费成本去打造SEO团队,足以证明SEO是不可或缺的。因此SEO已经进入了一个小高峰时期,只要我们优化得当,优化到位,SEO优化能为我们网站带来充分的流量。当然,通过SEO...

什么是seo?seo和sem有什么区别?

什么是seo?seo和sem有什么区别?

在众多同行营销的平台中,只有将自己的排名比他人更前,才能获得更多的营销机会,对于企业产品和服务的营销才会更有利。然而,大多数企业都很纠结,到底是选择seo还是sem推广方式呢?所以,接下来给大家分享关于seo和sem的相关知识点。一、什么是seo?seo是指搜索引擎优化,即对关键词进行优化而提升网站...

seo和sem的具体区别是什么?

seo和sem的具体区别是什么?

是不是很多同学对SEM和SEO傻傻分不清楚,干货来了~SEM,即搜索引擎营销(Search Engine Marketing),是利用搜索引擎进行网络营销的一种手段。所有在搜索引擎平台的营销方式都可以被称作SEM,在行业中,SEM多被称作竞价推广,或者是广告投放。目前来说通用的理解其实就是广告商在搜...

谷歌SEO和SEM的区别和如何配合营销?

谷歌SEO和SEM的区别和如何配合营销?

SEM与SEO的区别在哪里?从更大的范围来看,SEO(搜索引擎优化)是包含在SEM(搜索引擎营销)中的,二者是被包含与包含的关系。另外,很多人对SEM存在误解,认为SEM就是竞价,实际上,SEM包括付费推广和SEO。本文将详细讲解有关SEO与SEM的区别以及如何运用去配合营销。通过SEO获取的流量具...