什么是noindex标签?
noindex是一个包含标记或HTTP响应标头的规则集,用于防止支持noindex规则的搜索引擎(例如Google)将内容编入索引。当Googlebot抓取该网页并发现该标记或标头时,Google就会完全阻止该网页出现在Google搜索结果中,不论是否有其他网站链接到该网页。
重要提示:为让noindex规则生效,网页或资源不得被robots.txt文件屏蔽,并且必须能被抓取工具访问。如果该网页被robots.txt文件屏蔽或抓取工具无法访问该网页,那么抓取工具将永远无法看到noindex规则,因此该网页可能仍会显示在搜索结果中,例如,如果有其他网页链接到该网页。
如果您不具备服务器的root权限,可借助非常实用的noindex控制对您网站中各个网页的访问权限。
实施noindex
实施noindex的方法有两种:将其作为标记实施,或作为HTTP响应标头实施。这两种方法的效果相同,从中选择更方便您网站采用并且更适合相应内容类型的那一种方法即可。Google不支持在robots.txt文件中指定noindex规则。
您还可以将noindex规则与其他控制索引的规则结合使用。例如,您可以结合使用nofollow提示和noindex规则:
标记
为防止支持noindex规则的所有搜索引擎将您网站上的某个网页编入索引,并将以下标记添加到网页的部分:
若想仅阻止Google网页抓取工具将网页编入索引,请使用以下元标记:
请注意,某些搜索引擎对noindex规则可能会有不同的解读。因此,您的网页可能仍会出现在其他搜索引擎的结果中。
如果您使用Wix、WordPress或Blogger等CMS,则可能无法直接修改HTML,也可能不希望修改HTML。实际上,您的CMS可能具有搜索引擎设置页面或其他某种机制,能够将元标记告知搜索引擎。
如果您要向网站添加元标记,请在您的CMS上搜索有关修改网页的说明(例如,搜索“wix add meta tags”)。
HTTP响应标头
您可以在响应中返回值为noindex或none的X-Robots-Tag HTTP 标头,而不是标记。 响应标头可用于非HTML资源,例如PDF、视频文件和图片文件。下面是一个HTTP响应示例,它含有一个X-Robots-Tag标头,用来指示搜索引擎不要将某一网页编入索引:
HTTP/1.1 200 OK
X-Robots-Tag: noindex
调试noindex问题
搜索引擎必须抓取您的网页,才能看到标记和HTTP标头。如果某个网页仍显示在搜索结果中,可能是因为在您添加noindex规则后,搜索引擎尚未抓取过该网页。根据该网页在互联网中的重要性,Googlebot可能需要数月时间才能重新访问该网页。您可以使用网址检查工具请求 Google 重新抓取您的网页。
如果您需要从Google搜索结果中快速移除网站上的某个网页。
此外,也可能是因为robots.txt文件阻止Google网页抓取工具访问该网址,因此这些抓取工具无法发现此标记。若要允许Google访问您的网页,您必须修改robots.txt文件。您可以使用robots.txt测试工具修改和测试robots.txt。
最后,请确保noindex规则对Googlebot可见。如需测试您的noindex实现是否正确,请使用网址检查工具查看Googlebot在抓取该网页时收到的HTML。 您还可以使用Search Console中的“索引涵盖范围”报告监控您网站上Googlebot从中发现noindex规则的网页。
(以上来源谷歌搜索官方文档说明)