自助建站系统，无限可能等你探索

自助建站系统,无限可能等你探索吧!

01.设置robots

robots是robots的主要功能,相当于告诉搜索引擎你网站哪些目录可以访问,哪些目录不让你访问,此外,robots的作用还有以下几点:

1、禁止收录

2、禁止抓取的目录文件

3、限制搜索引擎抓取和收录页面的数量

4、限制搜索引擎蜘蛛在特定目录中的抓取

5、防止索引目录中包含死链

6、限制站点页面的导出链接数量

7、禁止搜索引擎蜘蛛抓取非法广告链接

08、禁止搜索引擎蜘蛛抓取整个页面

10、禁止搜索引擎抓取新闻源和论坛类内容

11、禁止搜索引擎蜘蛛抓取与网站主题无关的内容

12、禁止搜索引擎蜘蛛抓取网站