在seo优化的过程当中，有时候是需要对搜索引擎蜘蛛进行屏蔽的，下面佰蜂广州seo优化小编带你一起来看看如何屏蔽蜘蛛的抓取。

　　robots协议文件屏蔽百度蜘蛛抓取

　　robots协议是放在网站根目录下的协议文件，可以通过网址访问，当百度蜘蛛抓取我们的网站时，它会先访问这个文件。因为它告诉蜘蛛哪些能抓，哪些不能。

　　robots协议文件的设置比较简单，可以通过User-Agent、Disallow、Allow这三个参数进行设置。

　　User-Agent：对不同搜索引擎的声明；

　　Disallow：不允许抓取的目录或页面；

　　Allow：被允许抓取的目录或页面通常可以省略或不写，因为如果你不写任何不能抓取的东西，它就可以被抓取。

　　通过403状态码，限制内容输出，屏蔽蜘蛛抓取

　　403状态代码是http协议中的网页返回状态代码。当搜索引擎遇到403状态代码时，它知道这些页面受权限限制。

　　返回403状态代码时，应该有一个类似于404页面的页面。提示用户或蜘蛛执行他们想要访问的内容。两者都是不可或缺的。有403状态代码但返回不同的内容，这也不是很友好。

　　以上就是佰蜂广州seo优化小编的介绍，希望能帮助到大家。