当前位置：首页 > SEO知识 > 正文内容

MJ12bot蜘蛛爬虫，屏蔽垃圾SEO蜘蛛

admin4年前 (2023-02-24)SEO知识372

Majestic是英国的专业搜索引擎，成百上千的企业使用13种语言和60多个国家/地区来绘制互联网地图，这些地图独立于基于消费者的搜索引擎。

Majestic还支持其他合法技术，这些技术有助于了解不断变化的Web结构。

网站所有者可以在majestuc上查看有关其自己网站的数据。

爬取 User-Agent

Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)

robots.txt 拦截

User-agent: MJ12bot

Disallow: /

如何降低MJ12bot的速度?

您可以通过将以下内容添加到robots.txt文件中来轻松降低bot的速度：

User-Agent: MJ12bot

Crawl-Delay: 5

抓取延迟应为整数，表示两次请求之间等待的秒数。MJ12bot将在两次向您的站点发出请求之间最多延迟20秒-但是请注意，尽管这不太可能，但您的站点仍可能同时从多个MJ12bot爬网。

进行较高的抓取延迟可以最大程度地减少对您的网站的影响。如果将此抓取延迟参数用于*通配符，则该参数也将处于活动状态。
如果我们的机器人检测到您对任何其他机器人都使用了抓取延迟，则即使没有特别要求MJ12bot，它也会自动缓慢爬行。

扫描二维码推送至手机访问。

本文链接：https://laosuseo.com/?id=10750

分享给朋友：

返回列表

上一篇：MJ12bot是什么爬虫？能不能屏蔽？

下一篇：网页标题指是什么？详解网页title标题的设置技巧、作用及注意事项

“MJ12bot蜘蛛爬虫，屏蔽垃圾SEO蜘蛛” 的相关文章

百度竞价与SEO要如何选择？

当我们建设官网后，竞价与SEO如何选择？缪丽伟在这里讲述一下两种方式的优缺点。一、百度竞价优点与缺点（1）百度竞价优点：1、效果立竿见影：只要花钱，就能在前面，效果立马出现。2、关键词不分难易程度：不论多么热门的关键词，只要你想做，你都可以进入前三甚至第一。3、关键词数量无限制：可以在后台设置无数的...

文章title标题标签优化的奥秘

早都想写一篇关于如何优化文章标题的文章，一直没有机会排上日程，正好8月，谷歌对文章标题的生成方式作了变更，现在谷歌更新了文章标题生成方式，第一时间注意到了这个变化，正好也写一篇文章来说说这事。从上面可以看到，SEO禅的两篇文章后面都跟了SEO优化这个关键词，注意这个不是SEO禅自己添加的，这是谷歌分...

企业网站如何进行准确定位

在搭建网站之前我们首先要对网站有一个准确的定位，要知道我们所搭建的网站属于什么类型，网站需要展示效果有哪些，目标用户是哪部分人，最后要达到什么效果。这些东西都是与SEO优化息息相关的。1.网站定位网站类型：商城站、企业站、博客站、资讯站、论坛等2.网站目标群体每一个行业都有自己目标的群体，比如做博客...

如何从0到1自学谷歌SEO？

从06年开始，Google就常年霸占世界上访问量最大网站的头把交椅，并且以绝对优势碾压其它网站。图片来源：Most Popular Websites 1996-2019https://www.youtube.com/watch?v=2Uj1A9AguFs凡是与海外运营相关的业务，肯定不能放弃Goog...

如何挖掘网站seo优化关键长尾词分析

一，使用工具查询索引对于不同的搜索引擎，关键词的竞争力可能是不同的。以百度搜索引擎为例。其产品中有关键字索引查询工具，可以在百度搜索引擎中快速查询关键字。的索引情况，可以了解用户近期一段时间对该关键字的查询和搜索情况。一般来说，30天内关键词索引少于500的关键词是容易SEO优化的关键词。对于索引在...

常见平台网站的SEO网站关键词该怎么做

假如您早已做了各大搜索引擎推广营销，可是你的推广效果不显著，您就需要查看自己的网站关键词是不是挑选恰当了。挑选网站关键词的基本要素仅有挑选精确的网站关键词，才能够给平台网站产生客户订单。因此什么样子的网站关键词才算是精确的网站关键词呢?结果便是咱们的潜在用户会使用到的网站关键词。咱们的潜在用户会使用...