robots.txt是控制搜索引擎蜘蛛抓取网站页面范围的文本文档，用来告知搜索引擎网站哪些页面（目录）可以抓取，哪些页面不可以抓取（例如一些涉及网站安全的页面及影响SEO效果的页面）。以下是关于robots.txt的基本知识介绍：

一、robots.txt位于网站根目录（放在其它位置无效），robots.txt文件路径为：https://您的域名/robots.txt，以我的博客举例，其路径为：https://www.seolove.com.cn/robots.txt。

二、如果网站没有设置robots，搜索引擎将默认抓取网站所有页面。如果网站设置了robots，搜索引擎将按照robots设定的规则抓取网站页面。就像是一所房子，如果所有的门都没有上锁，访客就可以自由进出每一个房间。如果某个房间上了锁，访客就无法进入。

三、某些搜索引擎可能不遵守robots协议，无论robots，还是noindex或nofollow都不是强制性规则。

四、举例说明robots.txt的写法，如下：

• User-agent: *（User-agent:代表搜索引擎协议，*代表所有搜索）
• Disallow: /?s=*（不允许索引所有带有“?s=”的链接）
• Disallow: /?r=*（不允许索引所有带有“?r=”的链接）
• Disallow: /images/（不允许索引“images”目录）
• Disallow: /index.php?image=*（不允许索引“index.php?image=”的链接）
• Sitemap: https://www.seolove.com.cn/wp-sitemap.xml

五、写robots.txt时需要注意以下几个事项：

• 1、Disallow:和/之间需要加一个空格
• 2、通常只需屏蔽不允许抓取的路径和文件
• 3、robots.txt必须放在网站根目录下
• 4、请谨慎对待robots（不要随意屏蔽网站目录和链接）