搜索引擎抓取和收录页面的过程

1、抓取

　　网站的页面有没有被搜索引擎收录，首先要看一下网站的蜘蛛访问日志，看一下蜘蛛有没有来，如果蜘蛛都没有抓取，那是不可能被收录的。蜘蛛访问网站的日志可以从网站的IIS日志里面看到，如果搜索引擎蜘蛛没有来呢?那么就主动向搜索引擎提交，搜索引擎会派出蜘蛛来抓取网站，这样网站才有可能被尽快收录。

　　如果你不会分析网站的日志也没有关系，这里推荐爱站SEO工具包，将网站的日志导入到这个工具之后，就能看到日志的分析，你能从中得到很到信息。

　　广度优先抓取：广度优先抓取是按照网站的树形结构，对一个的层进行的抓取，如果此层没有抓取完成，蜘蛛不会进行下一层的搜索。(关于网站的树形结构，会在后续的日志中进行说明，在没有发布文章之后，在此会添加连接)

　　深度优先抓取：深度优先抓取是按照网站的树形结构。按照一个连接，一直抓取下去，知道这一个连接没有再往下的链接为止，深度优先抓取又叫纵向抓取。

　　(注意：广度优先抓取，适用于所有情况下的搜索，但是深度优先抓取不一定能适用于所有情况。因为一个有解的问题树可能含有无穷分枝，深度优先抓取如果误入无穷分枝(即深度无限)，则不可能找到目标结束点。所以，深度优先抓取策略很多时候是不会被使用的，广度优先的抓取更加的保险。)

　　广度优先抓取适用范围：在未知树深度情况下，用这种算法很保险和安全。在树体系相对小不庞大的时候，广度优先也会更好些。

　　深度优先抓取适用范围：刚才说了深度优先抓取有自己的缺陷，但是并不代表深度优先抓取没有自己的价值。在树型结构深度已知情况下，并且树体系相当庞大时，深度优先搜索往往会比广度优先搜索优秀。

　　2、过滤

　　网站的页面被抓取了并不代表一定会被收录。蜘蛛来抓取了之后，会把数据带回去，放到临时的数据库中，再进行过滤，过滤掉一些垃圾的内容或者是低质量的内容。

　　你页面的信息如果是采集，在互联网上有大量的相同信息，搜索引擎就很有可能不为你的网页建立索引。有时候我们自己写的文章也不会被收录，因为原创的不一定就是高质量的。关于文章质量的高低，我会在以后的文章中单独拿出一篇来和大家详细讨论。

　　过滤这一过程就是一个去掉糟粕的过程，如果你的网站的页面顺利通过了过滤这一过程，说明页面的内容达到了搜索引擎设定的标准，页面会就会进入建立索引和输出结果这一步。

　　3、建立索引与输出结果

　　这里，我们把建立索引和输出结果合在一起进行说明。

　　通过一系列的过程之后，符合收录的页面之后会建立索引，建立索引之后就是输出结果，也就是我们在搜索关键词后，搜索引擎展示给我们的结果。

　　当用户在搜索关键词时搜索引擎就会输出结果，输出的结果是有顺序排列的。这些结果排序是根据一系列复杂的算法来排定的。比如：页面的外链，页面与关键词的匹配度，页面的多媒体属性等。

　　在输出的结果中，还有一些结果是通过抓取之后直接可以输出的，没有经过中间复杂的过滤和建立索引等过程。什么样的内容和什么样的情况下才会发生的呢?那就是具有很强的时效性的内容，比如新闻类的。比如今天发生了一件特大事件，各大门户和新闻源快速发出了关于事件的新闻，搜索引擎会迅速对重大新闻事件作出反应，快速收录相关的内容。

　　百度对于新闻的抓取速度是很快的，对重大事件的反应也比较及时。但是这里还有一个问题就是，这些发布的新闻如果有低质量的页面会怎么办?搜索引擎会在输出结果之后，仍然对这一部分新闻内容进行过滤，如果页面内容与新闻标题不符，质量过低，那么低质量的页面还是会被搜索引擎过滤掉。

　　在输出结果的时候，搜索引擎会多多少少会对搜索结果进行人工干预，其中以百度为最严重，在百度很多关键词的自然搜索结果中被加入了百度太多自家的产品，而且很多是没有考虑用户体验的，这也是百度被大家诟病的原因之一，有兴趣的朋友可以百度一个词看一下搜索结果，是不是百度自家的产品占据了太多的首页位置。