南帝seo在之前已经向各位讲解了一下这个搜索引擎的爬取工作原理，也许有的人没有看，有的人看到了却不懂。
由于有一个人向我询问过有关搜索引擎是怎样在网页上进行爬虫和抓取的，在此我将简单地向您介绍一下。
首先，你要了解的是，搜索引擎会用一种名为“蜘蛛”的爬虫来进行搜索，然后把这些信息反馈给数据库。
在搜索引擎的资料库中，有大量的URL。
按理说，只要有网络链接，这些蜘蛛就能抓取。
所以，搜索引擎的“蜘蛛”是如何在我们的网站上爬来爬去的？我们的网站并不是以网页为基础的。
这一点，你们不必太过在意。
现在的搜索引擎抓取了许多新的网页，例如，我们可以利用其它的外链来抓取新的网页，比如我们自己的投稿，或者是用统计的方法来抓取新的网页。
目前做网站优化的朋友，基本都是主动型的，大家都会去主动提交URL，也会适当的去做些外链。
所以说，网站页面被蜘蛛发现是没有问题的，问题在于页面收录。
前面说到了蜘蛛发现页面链接，那接下来是怎么爬行和抓取呢？分为了以下几个步骤：
1、爬取页面内容。
这里包括爬取页面里面的链接，并进行去重处理，然后把爬取的链接返回到待抓取的链接库；另外就是爬取页面的主体内容，这个搜索引擎会根据页面类型，有对应的爬取策略。
2、分析页面内容。
爬行和抓取后，蜘蛛会对页面主体内容进行初次审核，不符合收录要求的会被丢弃，符合收录的页面会放置到数据库，至于是否及时放出，跟网站权重的高低有关系，这也是搜索引擎的综合判断。
3、再次爬取前进。
根据搜索引擎的爬虫策略，每个网站都会有不同的对待。
上面介绍了一些关于网页的爬虫和抓取。
总而言之，网页的爬虫和抓取很容易，可是网页数量实在是太多了，所以，搜索引擎必须对其进行优化，并进行相应的抓取。
但是无论战术怎么改变，其爬虫和抓取过程都是一样的。
应该指出，网站的权重以及网站的点击次数将会对搜索引擎的爬虫和抓取产生直接的作用！
