华宇网络科技
HUAYU NERWORK
13262320613

robots.txt的文件格式-温州网站建设

发表时间:2019-06-24 09:22

robots.txt文件的格式比较特殊,命名不允许出现任何错误,必须小写,不要忘记字母s,命名错误将失去对搜索引擎的限制作用。robots.txt通常使用User-agent:Disallow:这两条规则,前者代表“适用下列规则的漫游器”,后者代表“要拦截的目标”。

User-agent:Disallow:后面的冒号必须是英文状态下的,冒号后面要空一个格。

1User-agent:

User-agent:表示搜索引擎Spider*代表所有,在robots.txt文件中,如果有多条User-agent记录说明有多个robots会受到该协议的限制,对该文件来说,至少要有一条User-agent记录。通常情况下,都将该项值设置成*,如果有不想被访问的文件,可以用Disallow:具体设置。

常见蜘蛛名称列表。

Baiduspider:百度的综合索引蜘蛛。

GooglebotGoogle蜘蛛。

Googlebot-Image:专门用来抓取图片的蜘蛛。

Mediapartners-Google:广告联盟代码的蜘蛛。

Yahoo Slurp:雅虎蜘蛛。

Yahoo! Slup China:雅虎中国蜘蛛。

Yahoo!-AdCrawler:雅虎广告蜘蛛。

YodaoBot:网易蜘蛛。

SoSoSpider:腾讯SoSo综合蜘蛛。

Sogou Spider:搜狗综合蜘蛛。


扫描查看手机版网站

会员登陆 | 网站鉴赏 | 法律公告 | 联系我们 | 网站地图 | 意见反馈
温州网站建设 平阳做网站  苍南网站制作  乐清网页制作  瑞安网站设计  永嘉网络公司    华宇网络                   咨询热线:13262320613
Copyright ©2009-2019 All Rights Reserved 温州华宇网络科技有限公司 版权所有