robots的应用，屏蔽蜘蛛首选

robots的作用主要是用来屏蔽搜索引擎的收录的，相当于网站与搜索引擎的协议。网站上有些内容是不希望被搜索引擎收录的。前些时间，上海有个海燕门：说有一对男女朋友分手后。男的把女的裸照放到了网上，结是百度就收录了。于是，女的就把百度给告了，并成功胜诉。百度赔了2W多。

robots增加网页权重的应用

网页上的每个页面链接都是会分享网页的权重。分享网页的链接越多，每个链接能分到的网页的权重就越少。就像是一个蛋糕，分的人多了，每个人分的就会很少。

在一个网站上有些内容是必须存在，但是对于搜索引擎的收录是无意义的，但是因这这个连接的存在会分去的网站首页的权重。所以我们要屏蔽这些无用的页面连接屏蔽，这样这个连接就不会分享权重。如：公司简介，友情链接，公司招聘，网站留言，广告等这些页面对于关键字的排名无意义，就算是把网站留言做到第一页也不会为我们带来任何意义。

所以，这些网页我们要屏蔽掉以增加网页权重分给其它页面的权重。这样我们在进行排名时就会更有竞争力。

robots屏蔽无效链接来增加网站的权重。

任何网站都有无效链接，无效链接是不可避免的。当我们把动态链接改为静态链接，但是之前的动态链接已被搜索引擎收录。但是，当搜索引擎再次来到这些无效链接，错误页面后却出现了404这样，搜索引擎就会认为你有大量的死链接。

robots的写法。

就算是你不会写也要建一个robots上传到网站的根目录

第一部分:指定搜索引擎：User-agent:* 后面是*号就是定位所有搜索引擎。

如果要针对百度：baiduspuir 如：User-agent:baiduspuir

google:User-agent:googlebot

第二部分：屏蔽语法(disallow:)，是指所要屏蔽的页面，有些页面，我不希望搜索引擎收录。如，404.html我不希望收录可以这样写：

#

#robots.txt for mingong

#uersion 7.0.0

#

user-agent:*

disallow:/404.html

第三部分：充许语法（allow)，是指充许搜索引擎收录的页面，如，我不希望搜索引擎收录admin文件下的所有页，但是，在这个文件夹下有两个页面a.php和b.php是充许搜索引擎收录的，我们可以这样写：

#

#robots.txt for mingong

#uersion 7.0.0

#

user-agent:*

disallow:/admin/

allow:/admin/a.php

allow:/admin/b.php

匹配符“*”和“$”

“*”匹配0或多个任意字符

“$”匹配行结束符

robots基本上就这些了，还用不够明确或有问题可以回复留言，希望我能解答。