Robots.txt文件正常放于根目录下，包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：

 "<field>:<optional space><value><optionalspace>"

Robots.txt文件用法举例说明如下：

阅读本文的人还可以阅读：

什么是百度抓取异常？抓取异常对网站的影响有哪些

robots.txt

Robots.txt 文件应放在哪里？

如何使用Robots避免蜘蛛黑洞？