robots.txt到底要怎么设置比较好!

浏览:476 日期:2017-10-29
来自:本站原创

什么是robots.txt?

简单的说robots文件是搜索引擎蜘蛛爬取网页时要遵守的协议文件,这个文件是以记事本 txt 的形式保存在网站的根目录下。

其次,蜘蛛访问时会先根据robots.txt来进行抓取。

蜘蛛网站的什么位置都抓取的话,那是自己可能没设置好robots.txt。这样的话很多没用的链接被抓取了,会造成分权的作用。这样的网站基本都是起不来的。

robots.txt的作用:

robots.txt这个文件是用来告诉搜索机器人不要爬行我们的部分网页,比如:后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。这些页面或文件被搜索引擎收录了,用户也看不了,对用户没帮助,既浪费了服务器资源,又增加了服务器的压力,因此我们可以用robots.txt告诉机器人集中注意力去收录我们的文章页面。增强用户体验,减少服务器压力。


robots设置方法:
User-agent:搜索引擎的蜘蛛
Disallow:禁止搜的内容
  Allow:允许搜的内容
下面,我们列举一些robots.txt 具体用法:
1、允许所有的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一个空文件”robots.txt”即可。
2、仅禁止某个机器人访问您的网站,如Baiduspider。
User-agent: Baiduspider
Disallow: /
3、仅允许某个机器人访问您的网站,如Baiduspider。
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
4、禁止访问特定目录
User-agent: *
Disallow: /admin/
Disallow: /css/
Disallow:
要拦截对所有包含问号 (?) 的网址的访问(具体地说,这种网址以您的域名开头、后接任意字符串,然后接问号,而后又接任意字符串),请使用以下内容:
User-agent: Googlebot
Disallow: /*?
要指定与某个网址的结尾字符相匹配,请使用 $。例如,要拦截以 .xls 结尾的所有网址,请使用以下内容: User-agent: Googlebot
Disallow: /*.xls$
您可将此模式匹配与 Allow 指令配合使用。例如,如果 ? 代表一个会话 ID,那么您可能希望排除包含 ? 的所有网址,以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含
在内的网页的版本。在此情况下,您可以对您的 robots.txt 文件进行如下设置:
User-agent: *
Allow: /*?$
Disallow: /*?
Disallow: /*? 指令会阻止包含 ? 的所有网址(具体地说,它将拦截所有以您的域名开头、后接任意字符串,然后接问号,而后又接任意字符串的网址)。
Allow: /*?$ 指令将允许以 ? 结尾的任何网址(具体地说,它将允许所有以您的域名开头、后接任意字符串,然后接 ?,? 之后不接任何字符的网址)。
今天设置robotsd的方法就介绍到这,如有不明白的地方,可以参照百度限制robot的规则:http://zhanzhang.baidu.com/wiki/53 。


转载请注明-原文链接: http://www.tzdir.com/artinfo/59.html
文章推荐
  1. 增加网站权重排名与外链的几种免费方法
  2. 目录站巡展之淘站分类目录的前世今生
  3. 如何做外链来增加你网站的权重?
  4. 日本海岸现幽灵船 船上载有8具腐烂的尸体
  5. 世界上真的有龙吗?如果有的话是在中国吗?
  6. 新人在婚礼现场演唱凉凉 网友: 现在没点才艺都不敢结婚了
  7. 华为mate10登陆美国市场:约4600元起
  8. 坚果Pro获更新 新增音乐收藏功能
  9. 二恶英检测报告
  10. 欧曼重卡配件各种线束大灯
  11. 腾讯吃鸡手游《绝地求生:全军出击》正式公布
  12. 未来5年全球75%的网民可能成为IPv6用户
  13. Facebook测试“突发新闻”标签:突出发帖时间
  14. 谷歌被诉非法出售逾500万iPhone用户信息
  15. 米家机械表开启众筹 799元全镂空设计
  16. 欧曼驾驶室总成价格优惠品种齐全
  17. AMD年底将发超强显卡驱动:代号“肾上腺素”!
  18. vivo X20推王者荣耀周年限量版 内存增至6GB
  19. 共商共建共享 推进“一带一路”科技创新合作
  20. 小辣椒新机撞脸iPhoneX 苹果辣椒傻傻分不清楚
  21. 富士康郑州工厂已停止实习生加班:每天8小时
  22. 小蓝单车宣布解散?以后可能再难见到bluegogo了
  23. 黄章罕见发声:魅族旗舰明年春季见
  24. 微软宣布为Win10带来Sets:所有UWP应用将支持标签化
  25. 一加6概念渲染酷炫:取消后置指纹识别
  26. 红米5确认12月7号发布:售价有惊喜
  27. iPhone X腮红金明年1月上市:引发新风潮
  28. 如何利用分类目录站增加网站高倍收入
  29. 淘站目录网提交收录标题不能超过10字。
  30. 站长提交网站目录时必备的实用技巧
用户中心
  1. QQ登陆
  2. 登录
  3. 注册
  4. 提交网站
  5. 软文投稿