当前位置:首页 > SEO培训 > 正文内容

如何使用robots.txt阻止搜索引擎爬(抓取)你的网站?

admin3年前 (2022-07-29)SEO培训529

为了你的网站可以被别人搜寻到,搜寻引擎爬虫,有时也称为搜寻机器人(bots)或是搜寻蜘蛛(spiders),会爬取你的网站,搜寻有变动的内容并且重新更新搜寻引擎的搜寻检索。


如何用robts.txt 这个档桉去控制搜寻蜘蛛

网站站长可以使用robots.txt这个文件,来指导搜寻蜘蛛应该如何爬取这个网站,当搜寻引擎爬取网站时,会先读取robots.tx 文件,并且依照规则爬取网站。


※ robots.txt 规则虽然是重要的,但是搜寻机器人不一定会遵守 robot.txt 规则,它只是一个执行方针。

※ 以Google而言,要设定Crawl-delay,是必须在Google管理工具裡设定。

※ 对于浮滥爬取你的网站的劣质搜寻蜘蛛,应该研究如何凭藉.htaccess裡的User-agent去阻挡不好的搜寻蜘蛛。


编辑与创建robots.txt 文件

Robots.txt 文件是必须放在网站根目录里,如果你的网址是******.com 是可以读取到的。


网址位置:


http://******.com/robots.txt


伺服器位置:


/home/userna5/public_html/robots.txt


如果没有这个档桉的话,你可以使用纯文件档桉建立一个新的robots.txt文件。


搜寻引擎的使用者代理

以搜寻引擎蜘蛛的User-agent来说,使用robots.txt文件来控制,是最普通的规范方式。


当搜寻蜘蛛爬取网站时,他们会以使用者代理User-agent来识别、以下提供些参考范例


前三名美国最常发现的搜寻引擎使用者代理:

Googlebot

Yahoo! Slurp

bingbot


最常被阻挡的搜寻引擎使用者代理:

AhrefsBot

Baiduspider

Ezooms

MJ12bot

YandexBot


搜寻引擎蜘蛛是会以robots.txt文件规则来抓取网站

robots.txt 文件有许多的规则,可以控制搜寻蜘蛛如何爬取你得网站。


User-agent:可以具体指定哪一个User-agent是适用的,如*是万用搭配于全部的User-agent。


Disallow:设定档桉或是资料夹,不允许被搜寻蜘蛛爬取。


设定全部搜寻引擎延迟爬取

如果你的网站有1000页,搜寻蜘蛛可能在几分钟内检索全部的网站,然而这有可能导致系统资源使用过度,在短时间内让全部的网页超过负荷,导致网页无法浏览。


延迟30秒的时间,将允许搜寻蜘蛛在8.3小时内检索1000张网页。


延迟500秒的时间,将允许搜寻蜘蛛在5.8天内检索1000张网页。


你也可以设定Crawl-delay:所有的搜寻蜘蛛立即搜寻。


User-agent: *

Crawl-delay: 30


允许搜寻蜘蛛爬取全部网站

在预设空白情况下,搜寻引擎蜘蛛还是会爬取你的网站,不过你还是可以指定它是允许的。


User-agent: *

Disallow:


不允许搜寻蜘蛛爬取全部网站

User-agent: *

Disallow: /


不允许搜寻蜘蛛爬取特定一个网站

你可以运用这些规则,不允许特定的搜寻引擎蜘蛛爬取你的网站。


User-agent: Baiduspider

Disallow: /


不允许全部搜寻蜘蛛爬取特定的档桉

如果有些档桉如contactus.htm, index.htm, 或是store.htm我们不想要搜寻蜘蛛爬取,我可以使用:


User-agent: *

Disallow: /contactus.htm

Disallow: /index.htm

Disallow: /store.htm


除了指定的以外,不允许全部搜寻蜘蛛爬取

如果我们只想让Googlebot爬取我们的/private/目录,但是不允许其他搜寻蜘蛛爬取,我们可以这样使用:


User-agent: *

Disallow: /

User-agent: Googlebot

Disallow: /private/


当Googlebot读取我的robots.txt文件时,会去理解文件内容,不会禁止全部目录的爬取。

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=3696

标签: robots.txt
分享给朋友:

“ 如何使用robots.txt阻止搜索引擎爬(抓取)你的网站?” 的相关文章

SEO训练可靠吗?我觉得很可靠!

SEO训练可靠吗?我觉得很可靠!

seo 训练可靠吗?我觉得很可靠!关于 seo 优化,我们需要知道的第一件事是,任何技术策略都是个人策略。我们都知道一个好的 seo 网站是一个团队的努力,但是我们需要了解分配给它的角色,以及为什么整个 seo 团队需要一个经理或者主管,仅仅因为他们对 seo 优化更加专业和全面,在关于 seo 经...

seo技术成为企业品牌推广不可缺少的方法

seo技术成为企业品牌推广不可缺少的方法

现今社会,互联网飞速发展。互联网产业是一个高科技产业,国家大力发展互联网+,互联网产业是一个高收入人才聚集的地方。因为有太多的人不了解和缺乏专业人才,人们为这个人才付出了更多。...

设置网站内容中的关键词应注意的事项

设置网站内容中的关键词应注意的事项

大家都知道对于搜索引擎来说,关键词的作用往往决定了网站在搜索引擎上面的排名好坏,最终影响网站的流量和转化率。细心的站长朋友会发现关键词基本上都是网站内容产生的,要想做关键词排名首先就要在网站内容中合理布局关键词才会最终达到优势关键词排名的效果。今天笔者就跟大家分享一下设置网站内容中的关键词应注意的事...

报名谷歌SEO培训?了解这些细节避免被割韭菜!

报名谷歌SEO培训?了解这些细节避免被割韭菜!

受疫情影响,展会延期或取消,许多外贸企业业务停滞。倒逼这些企业开始思考线上营销的事情。加上亚马逊平台红利消失等,众多卖家也开始做起独立站,谷歌SEO的需求也越来越多。由于这行业人比较难招,所以企业只能选择招聘新人让他们去报名一个谷歌SEO培训班。 一些才学习不到1-2年的从业者也摇...

干货分享!外贸网站推广谷歌SEO优化新手入门教程

干货分享!外贸网站推广谷歌SEO优化新手入门教程

如果你对英文SEO优化感兴趣,这篇文章绝对可以作为你自学的入门手册,本文接近1万字,看过的人都觉得很赞,支持优易化的话就请收藏吧,让更 多人知道。 这篇文章介绍了什么是SEO,外贸网站为什么要做SEO,网站SEO优化的方法和步骤(包括站内优化、站外优化和技术优化),常用的SEO工具...

谷歌SEO:自然结果和付费结果谁性价比更高?

谷歌SEO:自然结果和付费结果谁性价比更高?

谷歌作为全球最大的搜索引擎,每天收录了数以亿计的网页,掌握了海量用户的搜索数据,因此成为众多企业获取流量、提高品牌知名度的必争之地。而对于企业来说,搜索引擎优化(Search Engine Optimization, SEO)一直都是提高自然排名的重要方式,相对于付费广告,自然结果的性价比较高,下面...