大型网站获取流量最重要的方式之一就是要让自己的内容被搜索引擎大量收录，依靠大量长尾关键词获得流量，但是大网站很多收录都不充分，甚至一半都不到，利用IIS日志工具进行查看，也能发现有些页面存在问题，蜘蛛甚至几年都不曾到达，那么何谈收录和排名呢?对于小网站来说，即使网站架构不是很好，内部优化不是很健全，但也能收录大部分网页，因为本身内容太少，页面结构也简单，所以收录不是难事，但是对于上规模的网站，收录问题就不再是简单的问题。下边从几个方面和大家探讨一下。

URL优化：优化URL不是难事，但是是有意义的事情，大家可以看看越来越多的网站都把URL结构优化的非常简单易懂，容易抓取，尤其是很多B2C商城，以前URL路径都十分复杂，参数众多，现在都优化的非常好。虽然蜘蛛也抓取动态网页，但如果做成静态，对于有大量内页的大型网站，就能为蜘蛛的爬行减轻很多负担。

优化排版：排版的重要目的是让蜘蛛爬行的更加顺利，抓取的内容更好的获得排名。排版有问题的网站长尾排名会直接受到影响，比如同样的权重和收录，排版好的页面获得的排名要高于一般性的排版页面。影响排名的主要因素就是标签的合理使用、重要内容是否突出(比如靠左、靠前)。

优化翻页：翻页十分重要，如果网站内页比较多，很多页面蜘蛛是通过翻页才能够到达，一般来说，不宜超过三到四次点击，如果点击次数很多才能够到达，那么对于蜘蛛而言就会放弃抓取和收录。一般优化网站翻页需要从程序着手，比如一到十分页之后，底部最好有十到一百的翻页结构;另外一个方面，就是通过分小类的方法，多分一类别，就能减少很多点击次数，从而让蜘蛛更容易爬行和收录。

降噪优化：降噪优化主要是减少多余的程序代码，一般优化的重点就是JS与CSS，把一些花里胡哨的功能都去掉，把必须的JS封装进JS文件，把table布局的页面改变成为css，少使用flash和ajax脚本，大家可以想下，如果内页的模板中使用了这样的代码，那么如果有100w和内页，则相当于增添了100w个这样的程序，对蜘蛛而言，如果页面进行优化，就会节省很多时间用于收录其它页面。

robots优化：这点很多站长都忽略掉了，一个网站，如果功能比较强大，那么很可能同一页面就对应多个URL路径，比如在价格、颜色、尺寸等不同属性的页面，重复度极高，再比如静态、伪静态和动态之间，也有可能存在这个问题，所以必须在robots文件中禁止搜索引擎对页面的请求和爬行，这对于提高收录也是非常有帮助的。

nofollow标签：对于小网站和大网站，使用nofollow与否差别是非常大的。因为小网站一般收录都没有问题，小网站本身的内容就不多，而大网站情况则不同，很多收录都有障碍，所以要集中权重，把蜘蛛引导有价值的页面，对于一些没有价值的链接要nofollow掉。大型网站使用过nofollow后就会知道它的重要性，虽然它不能为你节省PR值，但一定能累积权重，把权重合理分配，大家可以看看一个门户的频道页，nofollow使用的非常得体。

其实网站的优化核心都类似，但是不同的网站，效果往往也是不同的。不同行业，不同规模，就会有不同结果。一些站长感觉很多基础性的东西不重要，其实基础性的东西往往在你网站达到某种规模的时候才能起到作用。