华宇网络科技
HUAYU NERWORK
13262320613

Disallow指令行对温州网站建设的作用

发表时间:2019-06-25 10:19

robots.txt文件中,每条记录的第二个域是Disallow:指令行。这些Disallow:行声明了该网站中不希望被访问的文件和(或)目录。例如“Disallow: fengxiong.htm”对文件的访问进行了声明,禁止Spiders下载网站上的fengxiong.htm文件。而“Disallow: /jianfei/”则对jianfei目录的访问进行了声明,拒绝Spiders进入该目录及其子目录。而 “Disallow:/shishang”与前面的例子不同,表示的意思是拒绝搜索引擎对/shishang.html/shishang/index.html的访问(即无论是名为shishang的文件还是名为shishang的目录下的文件都不允许搜索引擎访问)。Disallow记录如果留空,则说明该网站的所有内容都向搜索引擎开放。"/robots.txt"文件中,至少要有一条Disallow记录。

使用*”和“$”:baiduspider支持使用通配符“*”和“$”来模糊匹配URL。其中,“$”为匹配行结束符,“*”表示匹配0或多个任意字符。


扫描查看手机版网站

会员登陆 | 网站鉴赏 | 法律公告 | 联系我们 | 网站地图 | 意见反馈
温州网站建设 平阳做网站  苍南网站制作  乐清网页制作  瑞安网站设计  永嘉网络公司    华宇网络                   咨询热线:13262320613
Copyright ©2009-2019 All Rights Reserved 温州华宇网络科技有限公司 版权所有