使用<META>标签拦截或删除网页：在网页的 <HEAD> 部分添加适当的 <META> 标签。
如何使用标签阻止网页被收录？
拦截所有搜索引擎把网页收录：
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
只是拦截百度蜘蛛爬取网页，而允许其他搜索引擎收录：
<META NAME="baiduspider" CONTENT="NOINDEX, NOFOLLOW">
允许搜索引擎收录你的网页，但禁止其追踪外部链接（如：zh.wikipedia.org 为了防止链接泛滥采用了此例）：
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
允许搜索引擎收录你的网页，但禁止其收录网页上的图片：
<META NAME="ROBOTS" CONTENT="NOIMAGEINDEX">
注：哪一个网页需要拦截或删除，则在那个网页添加<META> 标签，其他页面不会受影响。<META> 标签针对的是具体的某个网页，而不是整个网站。
阅读本文的人还可以阅读：
如何查看反向链接更准确？
什么是meta robots 标签？meta robots 标签的写法
robots.txt
