1、合理的关键词布局
把关键词合理的布局在网站中正确的位置，可以让搜索引擎清楚地了解到网站哪些内容是真正又有的内容。
2、网站代码优化
把CSS样式信息和JS脚本等内容做成外部链接，这样可以减少整个网站页面文件的大小，并且还能加大内容部分所占的比例。
3、网站结构
网站内部结构必须要符合逻辑，当蜘蛛爬虫进入网站后，要顺着网站结构来挖掘更深层的页面，这样才能让蜘蛛爬虫抓取更多的页面。
4、网站内链
网站中，页面和页面之间也要有良好的连接结构，网站中的所有页面都必须要从首页开始，用户最多点击四次就可以找到想要了解的信息。网站内部链接一定要采用文本链接以及图片链接，一定不要使用JS链接、下拉菜单链接或Flash链接。
5、外部链接
网站必须要有一些高质量外链来指向网站首页，这样蜘蛛爬虫就会沿着外部链接进入到网站中，从而抓取网站内容。
6、网站地图
网站一定要有网站地图，并且把一些重要的页面链接放到网站地图中，这样蜘蛛爬虫就可以通过网站地图进入到网站的各个页面中，进而抓取这些页面。
7、限制抓取范围
网站中总会有一些页面是不想让搜索引擎蜘蛛抓取到的，这时候就可以使用robots.txt文件或者nofollow属性来限制蜘蛛爬虫的抓取。
这样不仅可以提高蜘蛛爬虫的抓取效率，同时也有利于网站权重过于分散。
8、避免蜘蛛陷阱
蜘蛛陷阱是一些会妨碍蜘蛛爬虫爬行的页面制作技术，例如Flash、动态URL等等。如果网站页面中存在蜘蛛陷阱，就会直接影响到蜘蛛爬虫的抓取效率，从而降低了网站页面的收录量。
