西安天讯:怎样添加百度蜘蛛访问网站日志log日志

来源:互联网 发布:java多线程项目实例 编辑:程序博客网 时间:2024/04/29 08:05

时间 s-sitename W3SVC1 \: date 2010-07-30 \:06:43 \\\\.;\\\\\服务器名称 s-computername MGL \\ 网站名称 s-ip .日志格式;爬行日期 time 01;\: Fields;\\
时间 s-sitename W3SVC1 \: date 2010-07-30 \:06:43 \\\\.;\\\\\服务器名称 s-computername MGL \\ 网站名称 s-ip .日志格式;爬行日期 time 01;\: Fields;\\
首先确定,自己看就可以了,你的空间商 是否提供iis 日志。如果有下载一个
分担 分担
  首先要确定网站空间支持IIS日志的下载,支持的话空间后台一般都有日志WebLog日志下载这个功能把它下载到根目录在用FTP传到本地就可以,服务器的话可以设置将日志文件下载到指定路径。
IIS日志强烈建议设置成每小时生成一次,小型的企业站和页面内容较少的网站可以设置成一天,它默认是一天,如果内容多或者大型站设置成一天生成一次,那么一天只生成一个文件,这个文件会相当的大,有时电脑打开是会造成死机,设置的话找空间商协调设置即可。
IIS日志如何分析
1.日志的后缀名是log的可以用记事本打开,选择格式里的自动换行这样看起来方便,同时用搜索功能搜索BaiduSpider和Googlebot这两个蜘蛛。
  例如:
  百度蜘蛛
2012-03-1300:47:10W3SVC177116.255.169.37GET/-80-220.181.51.144Baiduspider-favo+(+baidu/search/spider)2000015256197265?
  谷歌机器人
2012-03-1308:18:48W3SVC177116.255.169.37GET/robots.txt-80-222.186.24.26Googlebot/2.1+(+google/bot)2000098520031?
  来分段来解释
2012-03-1300:47:10蜘蛛爬取的日期和时间点
W3SVC177这个是机器码这个是惟一的我们不去管它
  116.255.169.37这个IP地址是服务器的IP地址
GET代表事件
GET后面就是蜘蛛爬取的网站页面,斜杠就代表首页
80是端口的意思
  220.181.51.144这个IP则是蜘蛛的IP,这里告诉大家一个鉴别真假百度蜘蛛的方法,我们电脑点击开始运行输入cmd打开命令提示符,输入nslookup空格加蜘蛛IP点击回车,一般真百度蜘蛛都有自己的服务器IP而假蜘蛛则没有。
  如果网站中出现了大量的假蜘蛛则说明有人冒充百度蜘蛛来采集你的内容,你就需要注意了,如果太猖獗那会很占用你的服务器资源,我们需要屏蔽他们的IP.
20000这里是状态码状态码的意思可以在百度里搜索下


 

0 0
原创粉丝点击