当前位置:首页 > SEO网站 > 正文内容

建网站后正确快速识别百度蜘蛛只需从两方面下手

admin3年前 (2022-07-26)SEO网站563

我们在建网站后都比较关注网站的收录,跟网站收录息息相关的因素就是百度蜘蛛的抓取,因为我们更新网站内容后,只有被百度蜘蛛抓取后才有可能被收录。

那么,什么是百度蜘蛛?

在我们运营网站时又如何快速识别百度蜘蛛呢?

其实,我们可以把百度蜘蛛就是用来抓取网站链接的IP,经常会听到有站长朋友反馈百度蜘蛛来的太频繁,服务器要被抓爆了,如果你无法识别百度蜘蛛,你怎么知道是百度蜘蛛抓爆的呢?也有出现百度蜘蛛都不来了的情况,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP地址范围动态变化不固定,无法识别百度IP。

一、双向DNS解析认证

第一步:DNS反查IP

开发者通过对日志中访问服务器的IP地址运行反向DNS查找,判断某只spider是否来自百度搜索引擎,Baiduspider的hostname以*.baidu.com或*.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即为冒充。

根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1).在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。

2).在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。

3).在macos平台下,您可以使用dig命令反解ip来判断是否来自Baiduspider的抓取。打开命令处理器输入dig -x xxx.xxx.xxx.xxx(IP地址)就能解析ip,来判断是否来自Baiduspider的抓取。

第二步:对域名运行正向DNS查找

对第一步中通过命令检索到的域名运行正向DNS查找,验证该域名与您日志中访问服务器的原始IP地址是否一致,IP地址一致可确认spider来自百度搜索引擎,IP地址不一致即为冒充。

示例1:

> host 111.206.198.69

69.198.206.111. in-addr.arpa domain name pointer baiduspider-111-206-198-69.crawl.baidu.com.

> host baiduspider-111-206-198-69.crawl.baidu.com

baiduspider-111-206-198-69.crawl.baidu.com has address 111.206.198.69

二、查看UA信息

如果UA信息不对,可以直接判断为非百度搜索的蜘蛛。目前UA分为移动、PC、和小程序三个应用场景,这三个渠道UA分别如下:

移动UA:

Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,like Gecko)Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;+http://www.baidu.com/search/spider.html)

PC UA:

Mozilla/5.0(compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Mozilla/5.0(compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

小程序UA:

Mozilla/5.0 (iPhone;CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko)Version/9.0 Mobile/13B143 Safari/601.1 (compatible; Baiduspider-render/2.0;Smartapp; +http://www.baidu.com/search/spider.html)

总之,正确快速的识别百度蜘蛛是我们做网站运营时必须要掌握的技能之一。

因为,只有了解的百度蜘蛛抓取网站的情况,我们才好进行针对性的完善网站。

扫描二维码推送至手机访问。

版权声明:本文由老苏SEO转载并发布,如侵权可联系删除。

本文链接:https://laosuseo.com/?id=3091

标签: 百度蜘蛛
分享给朋友:

“建网站后正确快速识别百度蜘蛛只需从两方面下手” 的相关文章

网站关键词排名突然下降应该怎么办?

网站关键词排名突然下降应该怎么办?

我们做网站推广时是需要耐心的,要有足够的毅力说服自己每天坚持更新,每天坚持发布外链,并且还要不断地学习新方法,以提高自己的能力。但是很多时候长时间的运营网站容易产生一些怠慢、疏忽的情况,当我们疏忽或者怠慢的时候,无孔不入的“苍蝇”就会盯住我们的网站,会让我们的网站关键词排名突然下降,有时网站关键词排...

什么原因导致网站有排名没有流量

什么原因导致网站有排名没有流量

我们在做网站的时候都渴望有好了排名,很多站长朋友经过自己的努力,网站排名很好,甚至一度还能够占据百度的首页位置,可是很多站长朋友却没有因此而获得不错的利润,原因就在于网站的排名虽然有了,可是网站的流量却没有因此而不断提升。今天笔者就跟大家分享一下什么原因导致网站有排名没有流量?希望对大家有所帮助。1...

网站标签如何进行seo优化

网站标签如何进行seo优化

在网站标签优化过程中,主要分为现场优化和非现场优化两部分。 具体的优化内容可以分为网站TDK选择与部署,关键词密度控制,网站结构是否简单合理,目录层次是否过于复杂等诸多方面,这些因素不容忽视,任何一个方面的问题都可能导致网站的整体不稳定,那么网站优化更重要的是代码中的标签优化,关于网站标签优化,你知...

什么是SEO优化文章?

什么是SEO优化文章?

一个网站要吸引流量,它必须适应对相关关键字使用优先排名的搜索引擎。因此,使用搜索引擎的人会在第一个结果中找到该网站,然后点击该网站的页面。为了帮助搜索引擎了解网站上每个页面的主题,这些都需要进行优化。在网络行业术语中,这被称为对 SEO 友好的内容策略。如果网站提供清晰、相关和有趣的内容,搜索引擎算...

html代码怎样优化更利于SEO排名

html代码怎样优化更利于SEO排名

做优化不仅仅需要懂一些SEO知识,还要懂得一些基本的html代码知识,而且代码也是需要优化的,那么怎么操作才能更利于网站排名呢?一、title标题标签代码:通常以的形式出现,是对网站的综合性介绍展示,对网站品牌和内容的诠释。如下:这里是网站的标题二、keywordskeywords是关键词标签,主要...

SEO新手入门,提升SEO技能,必备知识!

SEO新手入门,提升SEO技能,必备知识!

嗨,SEO小伙伴!欢迎你来到SEO行业,感谢你对蝙蝠侠IT的认可,当你打开这个页面的时候,我相信你与真实的SEO,更加近了一步。我们都知道SEO是一个系统性工作,它由多种因素影响,算法,策略,预算,周期,执行等等。每一项数据的变化都在左右着SEO结局。理论上我们认为SEO是相对容易的,但很多SEO小...