栏目导航：其他

建议先从栏目目录定位同类模块，再根据是否排障需求选择对应文档。

上位页：返回其他栏目目录

同类页：各大搜索引擎收录指引、如何安装百度统计、站长统计源代码？、启用网站HTML静态化介绍、百度收录加速包介绍、电脑版网站如何添加爱番番（原：百度商桥）

排障页：HTTP响应头介绍、高效建设网站管理网站的功能有哪些？、如何清理浏览器缓存（多浏览器）

一、robots 协议是什么？

搜索蜘蛛在访问一个网站时，通常会先检查该网站根域下是否存在robots.txt纯文本文件。这个文件用于指定搜索蜘蛛（爬虫）在你网站上的抓取范围。

你可以把它理解为：把一段规则代码放到虚拟根目录中，用来告诉搜索引擎哪些页面可以抓取，哪些页面不建议抓取。

二、支持哪些 robots Meta 标签？

目前的网站插件代码支持nofollow、noarchive两种 robots Meta 标签。同时，在百度官方的《百度搜索引擎优化指南》中，百度明确表示只支持这两种标签。写法参考如下：

1. 禁止显示网站快照

<meta name="robots" content="noarchive">

2. 不追踪网页链接且不传递权重

<meta name="robots" content="nofollow">

三、如何上传 robots 协议

robots 文件需要你自己写规则代码，保存为.txt文件后，再上传到网站的虚拟根目录。

四、其他常见问题

Q：需要针对“www.aaa.com/bbb.html”这个页面在根目录上传 robots 文件，如何操作？

A：robots 文件需要你自己写规则。目前没有“针对某个页面的虚拟根目录”，把 robots 文件上传到网站的虚拟根目录即可。

Q：网站后台没有上传 robots 文件，但是输入“www.aaa.com/robots.txt”依然可以访问，是默认如此吗？

A：这是 nginx 配置的问题。访问以.txt为后缀的文件会被加上text/plain的 contentType。在改为text/html会有安全性问题的情况下，暂不处理。

Q：上传了 robots 没有在 sitemap 体现，正常吗？

A：正常。网站的 sitemap 生成是根据站点页面链接生成的，后台上传的 robots 不会体现到 sitemap。