问答1 问答5 问答50 问答500 问答1000

求问怎么设置禁止搜索引擎?

提问网友 发布时间:2023-03-06 08:57
声明声明:本网页内容为用户发布,旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:1656858193@qq.com
1个回答
热心网友 回答时间:2023-05-28 15:02
这个文件会告诉蜘蛛程序在该网站的服务器上哪些文件是可以被爬行的。建议:每个站点最好建立一个robots.txt文件,这样对seo更友好。不然的话每次搜索引擎蜘蛛来寻找并不存在的robots.txt文件时,服务器将在日志记录中出现一条404错误,因此你应该在网站中添加一个robots.txt(即使这个robots.txt文件只是一个空文件)。robots.txt必须放置在一个站点的根目录下,而且文件名必须全部小写。robots.txt写法
robots.txt文件包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL,orNL作为结束符),在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow行,详细情况如下:
1)User-agent: 该项的值用于描述搜索引擎蜘蛛的名字。如果该项的值设为*,则该协议对任何机器人均有效。
2)Disallow: 该项的值用于描述不希望被访问到的一个URL,一个目录或者整个网站。以Disallow 开头的URL 均不会被搜索引擎蜘蛛访问到。任何一条Disallow 记录为空,说明该网站的所有部分都允许被访问。
3)具体实例:
网站目录下所有文件均能被所有搜索引擎蜘蛛访问
User-agent: *Disallow:禁止所有搜索引擎蜘蛛访问网站的任何部分
User-agent: *
Disallow: /
禁止所有的搜索引擎蜘蛛访问网站的几个目录
User-agent: *

本文如未解决您的问题请添加抖音号:51dongshi(抖音搜索懂视),直接咨询即可。

...现在要拿走车饰会留下部分陶泥,有办法去除吗? 陶瓷泥弄到衣服千了怎么洗 如何用C语言编写程序,实现输入密码有三次机会,正确后显示一个菱形,急... 易语言的IP地址框,不论输入什么数字,都是*号,相当于密码输入吧,怎么实 ... 夜宿殡仪馆小说txt全集免费下载 苏长生是穿越者嘛? e租宝与兴业银行有资金托管吗? e租宝自融自担保,是真的吗?会不会跑路? e租宝是不是人保担保个人理财资金 思科多久出视频会议 如何培养孩子的思维能力?来至慧学堂就对了 合同诈骗罪的数额范围 在小米之家买的手机怎么售后 小升初的学生在英语学习中该怎样对待语法? 迈尔斯蜘蛛侠苹果手机怎么下载 物质的自燃点越低,发生火灾的危险就越大吗? 请问怎么用电脑注册QQ号的? QQ号可以注册吗? 如何用qq号申请? 怎样用qq号注册 蜂花粉适合什么人吃? 华为有没有共享系统 专科生可以考什么证书 黄石新港(物流)工业园的建设规划 求个可以自定义修改视频分辨率.支持RMVB格式的视频修改器 我的电脑黑屏了甚么办呢 广东省盗窃罪量刑标准2022 广州盗窃罪量刑标准 深圳盗窃罪量刑标准2022 四年级下册语文第一课古诗意思 四年级语文下册组词 航天航空知识做手抄报 航天知识手抄报 11年款凌度2.0的油耗 顺丰20斤以上怎么收费 梦见从高处上去很困难 梦见在高处不上不下 农历79年7月16日出生的,五行缺什么 运城河东东街有共享单车吗 山西省霍州市共享电动车怎么收费? 快手弹幕抽奖怎么高中奖率