禁止搜索引擎收录网站的方法大全

为了避免网站内部竞争等原因，我们常常需要禁止搜索引擎收录某些特定页面或者网站。这种禁止传递权重或者禁止搜索引擎收录的方法有很多，今天深圳神州通达就来推荐几种常用的禁止搜索引擎收录网站的方法。

一、A标签加nofollow属性值禁止传递权重

      此方法可以用于站内的链接，也可以用于站外的链接。顾名思义就是告诉搜索引擎，该链接页面我不准备向他传递任何权重。

      早些年就有一些SEOER利用NOFOLLOW标签试图操作搜索引擎的链接流动。后期有不少SEO大牛给出一种假设，就是每个页面都会有一个相当的权重值，比如某个页面权重是1它也可以像外面投出100个链接的投票，那么每个链接传递的权重就是0.01，如果该页面100个链接中有30个是加了NOFOLLOW标签的，那么你就等于浪费掉了这30票。

      使用NOFOLLOW标签需要注意的是，如果只是通过NOFOLLOW标签来禁止蜘蛛爬行的话。搜索引擎很有可能通过其他其他渠道访问到该页面，并进行索引。

具体写法：<a rel="nofollow" href="new/" >

nofollow百度百科的解释:

　　这个标签的意义是告诉搜索引擎"不要追踪此网页上的链接或不要追踪此特定链接"。

　　nofollow[1] 是一个HTML标签的属性值。它的出现为网站管理员提供了一种方式，即告诉搜索引擎"不要追踪此网页上的链接"或"不要追踪此特定链接"。这个标签的意义是告诉搜索引擎这个链接不是经过作者信任的，所以这个链接不是一个信任票。

　　nofollow标签是由谷歌领头创新的一个“反垃圾链接”的标签，并被百度、yahoo等各大搜索引擎广泛支持，引用nofollow标签的目的是：用于指示搜索引擎不要追踪(即抓取)网页上的带有nofollow属性的任何出站链接，以减少垃圾链接的分散网站权重!

　　简单的说就是，如果A网页上有一个链接指向B网页，但A网页给这个链接加上了 rel="nofollow" 标注，则搜索引擎不把A网页计算入B网页的反向链接。搜索引擎看到这个标签就可能减少或完全取消链接的投票权重。

二、META标签禁止传递权重

MEAT标签禁止搜索引擎收录的原理和NOFOLLOW属性标签一样，是通过该标签，告诉搜索引擎，该页面的所有连接都不准备传递权重。只不过该标签是设置在该页面的META标签里面的。

具体写法：<META NAME="ROBOTS" CONTENT="NOINDEX">     注释：大小写没所谓

三、META标签禁止收录当前页面

设置原理同上，也是放到使用页面的MEAT标签里面。通过该标签，可以告诉搜索引擎，禁止收录该页面。

具体写法：<META NAME="ROBOTS" CONTENT="NOFOLLOW">

四、robots.txt文件

       robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。

       robots.txt(请使用小写)是存在于网站根目录下的一个TXT文件，一般来说蜘蛛在爬行网页之前都得先去检索这个文件。记得今年360搜索引擎还败诉给百度，就是因为百度设置了某些网页不允许任何搜索引擎索引抓取，而360违反了这个规则。可见现在ROBOTS规则已经明确列入到法律的范围了，所以用这个协议禁止搜索引擎收录，爬行，是最有效的办法。

       使用方法如下：

       User-agent: *         注释：所有搜索引擎

       Allow: /                   注释：允许抓取所有文件

       Disallow: /news/    注释：禁止抓取news栏目下的文件

      需要注意的是，:(冒号)后面是需要加空格的，而且规则的第一个字母要求大写（栏目和文件不用），如果格式写错了会造成不可估量的损失。因为有的网站编码的问题，或者其他问题经常导致类似事件发生。所以建议各位SEOER还是使用工具来生成。对于那些已经生成ROBOTS的SEOER可以用下面的地址去检测是否设置正确。