robots的应用,屏蔽蜘蛛首选

  • A+
所属分类:SEO技术

robots的作用主要是用来屏蔽搜索引擎的收录的,相当于网站与搜索引擎的协议。网站上有些内容是不希望被搜索引擎收录的。前些时间,上海有个海燕门:说有一对男女朋友分手后。男的把女的裸照放到了网上,结是百度就收录了。于是,女的就把百度给告了,并成功胜诉。百度赔了2W多。

robots增加网页权重的应用

网页上的每个页面链接都是会分享网页的权重。分享网页的链接越多,每个链接能分到的网页的权重就越少。就像是一个蛋糕,分的人多了,每个人分的就会很少。

在一个网站上有些内容是必须存在,但是对于搜索引擎的收录是无意义的,但是因这这个连接的存在会分去的网站首页的权重。所以我们要屏蔽这些无用的页面连接屏蔽,这样这个连接就不会分享权重。如:公司简介,友情链接,公司招聘,网站留言,广告等这些页面对于关键字的排名无意义,就算是把网站留言做到第一页也不会为我们带来任何意义。

所以,这些网页我们要屏蔽掉以增加网页权重分给其它页面的权重。这样我们在进行排名时就会更有竞争力。

robots屏蔽无效链接来增加网站的权重。

任何网站都有无效链接,无效链接是不可避免的。当我们把动态链接改为静态链接,但是之前的动态链接已被搜索引擎收录。但是,当搜索引擎再次来到这些无效链接,错误页面后却出现了404这样,搜索引擎就会认为你有大量的死链接。

robots的写法。

就算是你不会写也要建一个robots上传到网站的根目录

第一部分:指定搜索引擎:User-agent:* 后面是*号就是定位所有搜索引擎。

如果要针对百度:baiduspuir 如:User-agent:baiduspuir

google:User-agent:googlebot

第二部分:屏蔽语法(disallow:),是指所要屏蔽的页面,有些页面,我不希望搜索引擎收录。如,404.html我不希望收录可以这样写:

#

#robots.txt for mingong

#uersion 7.0.0

#

user-agent:*

disallow:/404.html

第三部分:充许语法(allow),是指充许搜索引擎收录的页面,如,我不希望搜索引擎收录admin文件下的所有页,但是,在这个文件夹下有两个页面a.php和b.php是充许搜索引擎收录的,我们可以这样写:

#

#robots.txt for mingong

#uersion 7.0.0

#

user-agent:*

disallow:/admin/

allow:/admin/a.php

allow:/admin/b.php

匹配符“*”和“$”

“*”匹配0或多个任意字符

“$”匹配行结束符

robots基本上就这些了,还用不够明确或有问题可以回复留言,希望我能解答。

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: