我们知道，对于一个网站来说，最大限度的做好链接索引是很重要的，有人称之为内链，很多时候，一个网站拥有几万乃至几十万的页面，这时候如果结构上不合理控制的话，可能会有大量的页面没办法抓取到。收录与否是我们无法决定的，但如果连抓取都不顺畅的话，毫无疑问是无法收录的。

    首先，网站地图尽可能详细，如果可能的话，要详细列出大分类、子分类以及每个专题页，当然如果有可能的话，更可以做一个单独的索引页，列出网站所有的文章列表，它可能会分很多页，但非常有用，基本上保持规律的更新的话，这个页面能够极大的方便蜘蛛爬行和抓取。做好这也索引页只是第一步，接下来要在网站底部加上一个网站地图的链接，这个链接在首页、栏目页、内容页上都要有，确保从每个页面都能进入地图，从地图也能进入每个页面。

    再者，做好tag页的优化，我们暂且不说tag本身的高权重，因为很多时候tag页由于关键词密度高，能够获得很好的排名。除了这个作用之外，做好内页的tag更是为了搜索引擎的蜘蛛爬行。每一篇文章后面都要留有一个区域放置tag，同时tag集合页本身展示的数量也要尽可能多，数字设置大一些，以确保不会抓取遗漏。注意，是tag集合页，也就是网站的所有tag聚集一起的所在页面。做好这些之后，同样的要在每个页面底部放置一个链接，指向tag集合页，使用什么样的文字则由自己决定。

    还有一个很重要的页面优化需要注意的是，很多人在内容页侧栏或底部放置相关内容、热门内容和最新内容，在这里把类似的一些方面说一下。对于最新内容，调取页面所在栏目的最新内容即可，有人喜欢调用全站最新内容，这是没必要的，因为这样会造成每个页面的最新内容都是一样的，浪费了链接索引资源。其次，热门资讯如果按照点击调用的话，也只要设置为单个栏目的热门资讯即可，原理同上。尽可能造成差异是为了蜘蛛能够抓取到更多的页面。

    推荐内容的话，建议放置需要重点排名的页面，这些内容可能带来更多的转化率，或者搜索量更高，则可以给予推荐，至于使用范围，可以是单个栏目，也可以是全站，具体情况根据个人需要来决定。相关内容则建议调用全站，因为可能按照关键词调用的话，同一个栏目的内容有限，也许会遗漏一些相关内容，造成调用的相关内容只有几条的情况。

    在这里重点强调的是，无论如何需要加入随机列表，因为随机列表的目的在于每一个页面出现的随机列表都不一样，这样当大量的页面都出现N多的随机列表的时候，理论上来说，每个页面都有成为别的页面调用随机列表的页面，而且会出现好几次。如果你的页面有限的话，其他的可以不放，但随机列表一定要放。它的意义绝不仅仅是很多人说的增加PV那么简单。它更能把整个网站随机的联系在一张网上，犹如浩瀚大海，任凭搜索引擎这条鱼欢畅的遨游。在本文中，我们强调的是打通各个索引通道，最大化的让蜘蛛爬行顺畅，进而抓取和收录。事实上在内容页方面，能够做好这几点就基本上能确保每个页面都能被抓取到而不会遗漏了。