如何阻止谷歌抓取您的网站页面内容

互联网是开放性的，谷歌蜘蛛可以通过多种渠道发现一个网站，例如您的网站链接被挂在其它页面页上。事实上大多数人都希望自己的网站被谷歌收录，毕竟大部分网站都是以盈利为目的（需要流量）。但不否认依然有极少数人不希望自己的网站被别人看到。如果要阻止谷歌抓取您的网站页面内容，可以采取以下几种方式：

隐藏内容或使用密码保护内容

为页面内容设置密码或隐藏起来可以有效阻止谷歌蜘蛛抓取，请注意：如果密码被删除或取消隐藏，谷歌会重新收录这些内容。

使用noindex规则

noindex是用来告知搜索引擎不要索引网站特定页面的指令（noindex的具体使用方法），noindex只能用来约束搜索引擎蜘蛛，用户依然可以通过多种路径访问您的网站（来自其他网页中的链接或者直接在浏览器中输入网站域名）。

使用robots.txt规则

您可以使用robots.txt屏蔽不想让谷歌索引的任意网页（甚至屏蔽全部搜索引擎蜘蛛），若无特殊情况，不推荐阻止谷歌蜘蛛抓取您的网站页面。

大部分网站只希望被谷歌快速抓取，而不是阻止谷歌抓取。