phpnow设置apache日志记录百度蜘蛛Baiduspider谷歌蜘蛛爬行

  • A+

phpnow设置apache日志记录蜘蛛爬行,
日志里面记录蜘蛛的作用应该不用我详细说明了,很多站长都很需要,尤其是百度的蜘蛛记录,下面我简要说下让apache日志记录蜘蛛爬行的设置。做seo的都要分析网站日志,这个很多用的。

Apache默认的日志记录方式如下:
#
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common
LogFormat "%{Referer}i -> %U" referer
LogFormat "%{User-agent}i" agent
# You need to enable mod_logio.c to use %I and %O

# logged therein and *not* in this file.

CustomLog logs/access.log common

记录到的如下:
123.150.183.110 - - [01/May/2011:00:00:17 +0800] "GET /gwykszh/ HTTP/1.1" 200 23540

Apache还有个较复杂的combined的日志记录方式,如下:
LogFormat “%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined
把上面的 CustomLog logs/access.log common 改成CustomLog logs/access.log combined
其记录到的类似:
123.150.183.110 - - [01/May/2011:00:00:17 +0800] "GET /gwykszh/ HTTP/1.1" 200 23540 “-” “Baiduspider+

(+http://www.baidu.com/search/spider.htm)”
这上面是记录全部蜘蛛的,一般来说这样就够了,网络上面还有说只记录百度蜘蛛的大家可以参考下:

为了能更方便的了解Baidu蜘蛛来访的情况,索性单独写了个只记录Baidu蜘蛛来访记录。common中的%l和%u好像都记录不到东

西的,所以也去掉。

SetEnvIfNoCase User-Agent Baiduspider baidu_robot
LogFormat “%h %t \”%r\” %>s %b” robot
CustomLog “|/usr/local/apache2.2.0/bin/rotatelogs /usr/local/apache2.2.0/logs/baidu_%Y%m%d.txt 86400 480″

robot env=baidu_robot
或者
CustomLog logs/access.log common
这样在logs目录下,就会每天产生baidu_年月日.txt的日志了,每条的记录和下面的类似:
220.181.38.90 [01/May/2011:23:59:33 +0800] “GET / HTTP/1.1″ 200 8427

方法很简单,如果你要只记录其他蜘蛛的记录也很容易,如法炮制就行了,可能做英文站的站长会有这种需要。

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin
avatar

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

目前评论:7   其中:访客  5   博主  2

    • avatar 长沙二手房 2

      技术文章收藏

      • avatar 耿振 0

        好歹你写个该教程由耿振指导啊~

          • avatar 剑歌 Admin

            @耿振 我心中知道就行了 哈哈

          • avatar 清远信息港 2

            不错。。呵呵

            • avatar 海外网站推广 1

              学习了….

              • avatar cinki 0

                大哥 我怎么按照你这个设置了 日志还是没有蜘蛛的痕迹呢

                  • avatar 剑歌 Admin

                    @cinki 我的也没有痕迹 不知道为啥