1.降低抓取难度，去除冗余代码，使网页代码更加简洁高效。

2.避免页面混乱，在网页上线前，先浏览-遍，确认没有页面混乱再正式发布。

3.页面层次要清晰，方便用户浏览和蜘蛛按路径抓取。

4.标准化链接，这也很重要，链接不规范，也会影响抓取。

做网站路径优化时，记住以上四点，不容易出错，还有常见的误解,新手需要避免。

1.像JS等异常链接，不利于页面抓取

2.中文路径，对蜘蛛不友好

3动态地址,如果链接中有=号码和?号的，-般都是动态地址,也不利于搜索引擎抓取，必须设置伪静态地址。robots中设 置disallow命令屏蔽动态地址,只留下静态或，伪静态地址。

除了上述几点外,谷歌seo网站优化的网站结构也会影响抓取,建议做成树状结构或扁平结构。