网络营销之SEO学习：如何吸引各大搜索引擎的蜘蛛

导读：说到吸引蜘蛛，这里就要把蜘蛛假设成一个人，它也有一定习惯和爱好，为了能让蜘蛛更好的去爬行自己的网站或者是收录未被爬行过的网站，这个时候就要想想怎么通过站内站外，进行吸引蜘蛛和让蜘蛛喜欢自己的网站。

（1）网站的首页目录页内页权重高。

（2）网站内容相关性贴切，内容质量高。

（3）页面更新频率高（更新频率低或者不更新，容易被k）。

（4）添加链接或者锚文本。在网站相应权重高的网页进行添加好内容的链接或者锚文本，当爬虫来爬取的时候，就会沿着这个链接爬过去。

（5）与首页的点击事件的次数。在SEO行业中，都晓得一件事情，首页的权重永远是最高的，因为各个页面几乎都导向首页。但是爬虫的爬行过多也不好（从首页点击，点击事件就好比进入首页之后点击鼠标的次数），一般化在3次左右就差不多了，所以点击事件越少，权重越高。

（6）URL结构。相应的URL越是简单，用户能够简单理解的，搜索引擎都会给一丢丢印象分，包括URL的历史因素等。

在搜索引擎发现链接的时候，并不直接就过去抓取，而是会建立一个地址库之后，统一的进行抓取。

1. 拆分

搜索引擎在进行匹配的时候，要进行相应的分词，比如：上海居住证，将“上海”“居住证”进行划分，将一个长词，变成了两个词。

分词的方法一共拥有两种，一种是常用的字典匹配，一种是统计匹配。

前者比较好理解，后者呢，则是通过用户的搜索习惯之类的统计，形成的匹配。

2.停止词

在分词的过程中，有些词往往是不予考虑的，比如“的”“呢”“了”等等，这些词统一被称为停止词。一般化介词、疑问词、副词、感叹词等等，都被列为停止，但也有例外，要是这个词包含主事件，那么这个词也是关键词。

3.消除噪音

网站会被搜索引擎划分为多块，比如：导航栏、标题、内容（页首、页脚等）、广告、友情链接等等。个别不相关的内容，也会被搜索引擎直接忽略。

4.去重

对重复的内容进行筛选和删除，节省爬虫爬行时间。比如同一文章出现在不同网站或者一些伪原创的组合文章等等。

针对这些现象，搜索引擎也开始变得更加智能化，就算是在文章当中更改了部分顺序，或者是在文章中添加“的”“了”“是”“所以”等等，也无法逃脱搜索引擎的算法，这也就导致了很多公司为了节省时间，采用伪原创的形式，以至于网站被k，伪原创的操作也不是不可以，正确的运用整合多篇文章，提取有用知识点，用正确的形式表达，往往也能取得好的效果。

5.正向索引

正向索引一般化简称也为索引。

当网站经过提取、分词、消躁、去重之后，得到的东西，对于搜索引擎来说是独一无二的，它是以词为单位进行划分，反映内容页面的主体，从而让搜索引擎提取出关键词。搜索引擎在得到相应的数据之后，然后进行针对词意理解，计算词频、词的页面频率、以及文章格式（标题标签、黑体、H标签、锚文字、链接等）、位置等，搜索引擎会将每个页面都进行一次划分和计算。从而记录下来，为网站的权重进行储备。="normal">页面ID内容文件1关键词1，关键词2...关键词7...关键x文件2关键词1，关键词2...关键词7...关键d...关键词1，关键词2...关键词7...关键z文件7关键词1，关键词2...关键词7...关键w...关键词1，关键词2...关键词7...关键q文件x关键词1，关键词2...关键词7...关键n

表5 搜索引擎划分页面提取表（正向索引）

6.倒排索引

正向索引往往不能代表一个网站的好坏，所以也无法提供网站的排名。当用户在搜索关键词的时候，如果只存在正向索引，那么排名的程序扫描所有的数据库的时候，找到所有有关关键词2的数据时，并不能显示其他有关界面，无法满足用户的需求，于是搜索引擎就会将在原有的正向索引基础下，重新构建倒排索引库，以方便用户更好搜索到自己需求的页面。

拿表6来举例：ata-row-style="normal">关键词文件关键词1文件1、文件50、文件445...文件s、文件y...关键词2文件2、文件9、文件34...文件a、文件b.........关键词7文件8、文件21、文件342、文件q、文件w.........关键词x文件11、文件32、文件45、文件r、文件u...

图6 搜索用户调用数据表（倒排索引）

倒排索引的作用当中关键词为至关重要，它与正向索引不太一样，每一个关键词都对应着很多不同数量的文件，就好比是用户搜索东西的时候，搜索出来的界面，关键词不同，搜索的结果也不一定相同、数量也不相同。通过倒排索引，也能实现直接定位到相关关键词存在的文件地址。

7.链接关系计算

链接关系的计算在搜索引擎预处理当中，十分重要。目前来说几乎所有的搜索引擎在排名的过程当中，都包含了网页与网页纸间的链接流动关系。这也就是前面我们说的经常合理使用锚文本的好处。搜索引擎在抓取的时候，首先要进行对内容的计算，比如哪个页面链接有多少、分别指向哪里、哪个页面被其他页面指向最多等等，这些方面都涉及到了网站和页面纸间形成的权重关系。

权重的大小就是链接关系的体现，当然链接关系也仅仅只判定权重大小的原因之一。目前仅有谷歌在这方面有定论，设置了一个PR值作为参考。

在其他的搜索引擎当中，官方并没有给出权重大小的划分，国内几款主流的搜索引擎，在用户口中常说的权重值，都是有第三方给出的结果，例如：站长之家--站长工具、爱站、5118等。

8.质量判断

在预处理当中，搜索引擎会对网站的内容质量、链接质量等进行一系列的判断。百度的绿萝算法、石榴算法，谷歌的熊猫算法、企鹅算法等都是进行预先处理计算的，然后上线，他们都不是查询时再进行计算的。

当然对于质量的判断还不仅仅是这么简单，还要以用户体验为中心，文章内页的排版、广告的位置、编排的字体、服务器的运行速度、域名的历史等等，还可能存在人工智能、机器学习等形式存在。

首页判别网站用户体验度，也就是假设爬虫为一个类似于五星级酒店的试睡员，根据体验的结果进行相对的打分。

尤其是在网站刚建站的时候，搜索引擎会给一个印象分，会给个别优秀的网站初始权重（政府、集权网站的新开辟的小站、媒体、大型及顶级企业搜索引擎会自动给予权重），在普通网站建立的时候，刚开始搜索引擎会经常来这个网站，对这个网站用户体验度先给分（这也是新站刚开始就有权重1-2），针对tdk、文章丰富度、各个链接是否正常打开及锚文字建立是否导向正确、友情链接、网站框架相似度、图片大小、链接打开的速度（服务器运行速度）、域名的历史记录、网站有无广告、同一页面不能出现多个重复链接（例如：http://www.a.com网站首页做文章展示的链接http://www.a.com/wenzhang/1.html重复出现首页超过6次以上，会被默认为链接故意导向，触犯百度的石榴算法、谷歌的熊猫算法）及位置，包括网站是否具有本搜索引擎的代码（操作代码、推送代码、统计代码，其中为主要为操作代码）、商务通等，举例：本地宝（集权网站）多个分支的地域网站，每个地域都有独立的域名，并且这些域名都是有主域名分支出来的二级域名，比如：“shanghai(地域).bendibao.com”。

下一课讲解SEO优化里面的排名，有兴趣的小伙伴可以私聊老师获得更多核心知识，点击得到在线视频教学呦！