当前位置:首页 > SEO网站 > 正文内容

建网站后正确快速识别百度蜘蛛只需从两方面下手

admin3年前 (2022-07-26)SEO网站419

我们在建网站后都比较关注网站的收录,跟网站收录息息相关的因素就是百度蜘蛛的抓取,因为我们更新网站内容后,只有被百度蜘蛛抓取后才有可能被收录。

那么,什么是百度蜘蛛?

在我们运营网站时又如何快速识别百度蜘蛛呢?

其实,我们可以把百度蜘蛛就是用来抓取网站链接的IP,经常会听到有站长朋友反馈百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓爆的呢?也有出现百度蜘蛛都不来了的情况,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP地址范围动态变化不固定,无法识别百度IP。

一、双向DNS解析认证

第一步:DNS反查IP

开发者通过对日志中访问服务器的IP地址运行反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1).在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。

2).在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。

3).在macos平台下,您可以使用dig命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。

第二步:对域名运行正向DNS查找

对第一步中通过命令检索到的域名运行正向DNS查找,验证该域名与您日志中访问服务器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址不一致即为冒充。

示例1:

> host 111.206.198.69

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.

> host baiduspider-111-206-198-69.crawl.baidu.com

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

二、查看UA信息

如果UA信息不对,可以直接判断为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景,这三个渠道UA分别如下:

移动UA:

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

小程序UA:

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

总之,正确快速的识别百度蜘蛛是我们做网站运营时必须要掌握的技能之一。

因为,只有了解的百度蜘蛛抓取网站的情况,我们才好进行针对性的完善网站。

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=3091

标签: 百度蜘蛛
分享给朋友:

“建网站后正确快速识别百度蜘蛛只需从两方面下手” 的相关文章

seo优化中meta标签如何优化?

seo优化中meta标签如何优化?

meta标签,是每个网站seo的人员都需要掌握的一个标签,该标签优化的好的话,对你网站的排名是很有帮助  的,有关meta标签的一些用法知识,下面跟大家一起来分享一下。 一、实用的meta标签 这里的meta标签都很实用,确保你的每个页面代码...

网站开发必须了解的10个SEO基础知识

网站开发必须了解的10个SEO基础知识

原标题:网站开发必须了解的10个SEO基础知识如果开发人员了解基础知识并将其纳入他们的构建和站点维护中,那么效率会更高,避免以后的任何返工。查看网站开发人员必须了解的 10 个 SEO 基础知识,以及与我的 SEO 专家和开发人员团队进行的一些焦点小组讨论。1.安全网站安全对搜索引擎很重要。确保您有...

站内优化中标签有什么作用标签的选取—布局—使用注意事项

站内优化中标签有什么作用标签的选取—布局—使用注意事项

做为一个SEOer,网站站内优化是非常重要的一个环节,当一个网站的页面数量达到一定量级的时候,要坚持把网站做的扁平化就显得尤为困难,很多时候页面的堆积只能通过分类、分频道以及分页来保持页面能有一个单一的入口被蜘蛛爬取到,但是由于站内资源的限制,尤其对于个人站长,想尽各种办法增加每一个页面在站内体系的...

怎么做好网站seo优化?—优企客

怎么做好网站seo优化?—优企客

对于网站SEO优化的问题,一直以来都是困扰很多人刚开始做优化的人,本人结合自己的相关经验,总结了一些网站SEO优化的建议。打开凤凰新闻,查看更多高清图片第一:做一个网站策划书对网站进行优化,确定我们自己的网站定位和用户群,然后根据研究结果得出结论,再具体进行网站建设和优化。这就是分析我们竞争对手的网...

如何为网站创作高质量的原创文章

如何为网站创作高质量的原创文章

现在百度算法层出不穷,更多站长朋友们从原先的追求高质量外链,逐步转向优质可读性强的内容上来,如何创作出更多的原创性文章,以及对众多读者能够产生更多的共鸣,是如今众多站长朋友在不断苦思冥想的。提到高质量文章,是凭着自己的经验一点一点积累起来的,高质量的原创内容对提高网站权重和信誉起着至关重要的作用。今...

SEO通过增减标题里面的词直接做上排名

SEO通过增减标题里面的词直接做上排名

对于SEO这种混乱的行业,不同圈子里的从业者,对于什么排名因素有效这个问题,各有各的看法,往往大不相同。但仍有一个共同点在于,几乎所有人都认可这一点——网页标题即标签,是最重要的排名因素,没有之一。</b></p><p id="a7875960-5f1a-484c-8f...