这个文件会告诉蜘蛛程序在该网站的服务器上哪些文件是可以被爬行的。建议:每个站点最好建立一个robots.txt文件,这样对seo更友好。不然的话每次搜索引擎蜘蛛来寻找并不存在的robots.txt文件时,服务器将在日志记录中出现一条404错误,因此你应该在网站中添加一个robots.txt(即使这个robots.txt文件只是一个空文件)。robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。robots.txt写法
robots.txt文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL,orNL作为结束符),在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行,详细情况如下:
1)User-agent: 该项的值用于描述搜索引擎蜘蛛的名字。如果该项的值设为*,则该协议对任何机器人均有效。
2)Disallow: 该项的值用于描述不希望被访问到的一个URL,一个目录或者整个网站。以Disallow 开头的URL 均不会被搜索引擎蜘蛛访问到。任何一条Disallow 记录为空,说明该网站的所有部分都允许被访问。
3)具体实例:
网站目录下所有文件均能被所有搜索引擎蜘蛛访问
User-agent: *Disallow:禁止所有搜索引擎蜘蛛访问网站的任何部分
User-agent: *
Disallow: /
禁止所有的搜索引擎蜘蛛访问网站的几个目录
User-agent: *
本文如未解决您的问题请添加抖音号:51dongshi(抖音搜索懂视),直接咨询即可。