网站上有些页面不希望被搜索引擎收录，我们可以使用robots的文件或者meta robots 标签。

什么是meta robots 标签？

meta robots 标签是页面head部分meta标签的一种，用于指令搜索引擎禁止索引（收录）本页内容。

meta robots 标签的写法：

<meta name=”robots”content=”noindex,nofollow”>

标签的意义：禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接。

Noindex：搜索引擎不索引此网页（可以抓取，但不出现在搜索结果中）。

Nofollow： 搜索引擎不继续通过此网页的链接索引搜索其它的网页。

<meta name>=”robots”content=”noindex” >

标签的意义：禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。

使用了noindex meta robots标签的页面会被抓取，但不会被索引，也就是说页面URL不会出现在搜索结果中，这一点与robots文件不同。

meta robots 标签的作用：

1、不想让网站被收录使用meta robots 标签，禁止搜索引擎索引本页，同时禁止跟踪页面上的链接。

2、禁止索引本页面，但是允许蜘蛛跟踪页面链接，也可以传递权重。

meta robots标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。因此还是推荐用robots.txt文件来限制抓取，大家了解有关meta robots 标签知识以及写法。

阅读本文的人还可以阅读：

芜湖网站优化攻克目标关键词的三大锦囊

网站如何设置关键词聚焦？

关键词的竞争程度指数从哪些方面分析？

网站结构如何优化对搜索引擎友好？网站对搜索引擎不友好的表现