快速的让自己的网站被百度收录
导读:搜索引擎工作过程非常复杂,接下来的简单讲一讲搜索引擎怎么收录实现网页排名的。
搜索引擎的工作过程大体上可以分成三个阶段:
一.爬行和抓取:搜索引擎蜘蛛通过跟踪链接发现和访问网页,读取页面HTML代码,存入数据库。
二.预处理:索引程序对抓取来的页面数据进行文字提取、中文分词、索引、倒排索引等处理,以备排名程序调用。
三.排名:用户输入查询词后,排名程序调用索引库数据,计算相关性,然后按一定格式生成搜索结果页面。
目前你的情况应该是还有到第三步的,可以从第一,二步找原因。
下面我分享第一,二部的原理,可以按照相对应的方式方法进行检查。
一.爬行和抓取
1.蜘蛛。相信大家都知道它了,蜘蛛访问任何一个网站时,都会先访问网站根目录下的robots.txt文件,如果robots.txt文件禁止搜索引擎抓取某些文件和目录,蜘蛛会遵守协议,不抓取被禁止的网址
2.跟踪链接。为了抓取网上尽量多的页面, 搜索引擎蜘蛛跟踪页面上的链接,从一个页面爬到下一个页面,最简单的爬行遍历策略分为两种:一种是深度优先,另一种是广度优先。深度是指蜘蛛沿着发现的链接一直向前爬行,直到前面再也没有其他链接,然后返回到第一个页面,沿着另一个链接再一直往前爬行。广度是指蜘蛛在一个页面上发现多个链接时,不是顺着一个链接一直向前,而是把页面上所有第一层链接都爬一遍,然后再沿着第二层页面上发现的链接爬向第三层页面。通常都是混合使用。
3.吸引蜘蛛。SEO 人员想要让自己的更多页面被收录,就要想方设法吸引蜘蛛来抓取,蜘蛛只会抓取重要页面,以下五个影响因素:
网站和页面权重页面更新度导入链接与首页点击距离URL结构4.地址库。为了避免重复爬行和抓取网址,搜索引擎会建立一个地址库,记录已经被发现、但还没有抓取的页面,以及已经被抓取的页面。蜘蛛在页面上发现链接后并不是马上就去访问,而是将URL存入地址库,然后统一安排抓取。
地址库中URL有几个来源:
人工录入的种子网站蜘蛛抓取页面后,从HTML中解析出新的链接URL,与地址库中的数据进行对比,如果是地址库中没有网址,就存入待访问地址库站长通过搜索引擎网页提交进来的网址站长通过XML网站地图、站长平台提交的网址5.文件存储。搜索引擎蜘蛛抓取的数据存入原始页面数据库
6.爬行时的复制内容检测。
二.预处理
在一些SEO材料中,“预处理”也被简称为“索引”,因为索引是预处理最主要的内容
1.提取文字
2.中文分词
方法基本分两种:一种基于词典匹配,另一种是基于统计
3.去停止词。比如“的”“地”“啊”“哈”“呀”这些词被称为停止词,搜索引擎在索引页面之前会去掉这些词,使索引数据主题更为突出,减少无谓的计算量。
4.消除噪声。消噪的基本方法是根据HTML标签对页面分块,区分出页头、导航、正文、页脚、广告等区域,在网站上大量重复出现的区块往往属于噪声。
5.去重
6.正向索引
7.倒排索引
8.链接关系计算
9.特殊文件处理
10.质量判断
你可以根据这些内容去修改网站,让网站尽快的收录!