互联网是开放性的，谷歌蜘蛛可以通过多种路径抓取到一个网站。您的网站链接很可能被挂在其它任意网页上，谷歌蜘蛛可以通过其中任何一个链接抓取到您的网站。

事实上大多数人都希望自己的网站能够被谷歌收录，毕竟大部分网站都是为了盈利而建设。但不否认依然有极少数人不希望自己的网站被别人看到。如果要阻止谷歌抓取您的网站，建议采取以下几种方式：

一、隐藏内容或使用密码保护内容

不想让谷歌抓取的内容可以设置密码或隐藏起来（例如一些需要付费才能阅读的内容以及私密内容等），请注意：如果密码被删除或取消隐藏，谷歌会重新收录这些内容。

二、使用noindex规则

noindex是一种搜索引擎规则，它能够告知搜索引擎不要索引和展示您的网页内容。但用户依然可以通过多种路径访问您的网站，例如来自其它网页的链接或者直接在浏览器中输入您的网站域名。

三、使用robots.txt规则

您可以使用robots.txt规则屏蔽不想让谷歌索引的任意网页，例如指定的网站目录或任何一个页面。