有时开发人员希望将自己的网站或特定页面隐藏在搜索引擎结果中，在这种情况下，robots.txt可用于阻止搜索引擎蜘蛛访问网站。下面佰蜂广州建站优化小编带你一起来看看。

　　首先，创建一个robots.txt文件，可以使用FTP客户端将该文件上传至所属网站的根目录下。

　　然后，编辑robots.txt

　　每个搜索引擎都有自己的抓取工具（user-agen），在robots.txt中，您可以指定抓取工具User-agent。互联网有数百个爬虫，但最常见的是：

　　Googlebot、Yahoo!Slurp、bingbot、AhrefsBot、Baiduspider、Ezooms、MJ12bot、YandexBot等。

　　例如，如果想阻止百度抓取工具访问正规网站，则可以使用以下规则编辑robots.txt：

　　User-agent:Baiduspider

　　Disallow:/

　　如果要阻止所有搜索引擎抓取工具，可以使用*作为通配符：

　　User-agent:*

　　Disallow:/

　　如果要阻止搜索引擎爬网程序仅访问特定文件或文件夹，则使用类似语法，但是，需要指定文件或文件夹的名称。假设我们想阻止搜索引擎抓取工具仅访问文章文件夹（articles）和private.php文件。在这种情况下，robots.txt文件的内容应如下所示：

　　User-agent:*

　　Disallow:/articles/

　　Disallow:/private.php

　　完成编辑robots.txt文件后，保存更改，并上传至网站的根目录下。可以在浏览器搜索栏中输入，域名/robots.txt进行查看。

　　以上就是佰蜂建站优化小编的介绍，希望能帮助到大家。