每天都有很多SEO人员在更新网站的页面，如果搜索引擎中蜘蛛爬虫没有选择性的抓取页面，那将会是一个庞大的工作量。因此我们知道，蜘蛛爬虫在进行抓取的时候，是有一定规则的，是有选择性的抓取网站页面的。
那么，蜘蛛爬虫抓取网站页面的规则有哪些呢？
1、深度优先
蜘蛛爬虫在网站页面中发现一个链接后，就会顺着链接进入到下一个页面中，如果在下一个页面中也发现了链接，会继续顺着链接抓取下去，而这种抓取方式，就是以深度优先的规则为中心思想的。
2、宽度优先
搜索引擎蜘蛛先把整个页面的链接全部抓取一次，然后再对下一个页面的全部链接进行抓取，这就是宽度优先规则。对于这个策略，在进行SEO优化的时候，需要页面的层次不要太多，如果太多会导致页面收录困难。
3、权重优先
哪个页面的权重高，搜索引擎蜘蛛就会优先抓取那个页面，这就是权重优先规则。
4、重访抓取
重访抓取分为两种：
①全部重访：就是指蜘蛛爬虫上次抓取的链接，在当月的某一天，全部重新抓取一次。
②单个重访：就是指针对某个页面更新的频率比较快、比较稳定的页面。
综上所述，只要熟练的掌握蜘蛛爬虫抓取网站页面的规则，就可以让网站获得好的排名。
