西安天讯:怎样添加百度蜘蛛访问网站日志log日志
来源:互联网 发布:java多线程项目实例 编辑:程序博客网 时间:2024/04/29 08:05
时间 s-sitename W3SVC1 \: date 2010-07-30 \:06:43 \\\\.;\\\\\服务器名称 s-computername MGL \\ 网站名称 s-ip .日志格式;爬行日期 time 01;\: Fields;\\
时间 s-sitename W3SVC1 \: date 2010-07-30 \:06:43 \\\\.;\\\\\服务器名称 s-computername MGL \\ 网站名称 s-ip .日志格式;爬行日期 time 01;\: Fields;\\
首先确定,自己看就可以了,你的空间商 是否提供iis 日志。如果有下载一个
分担 分担
首先要确定网站空间支持IIS日志的下载,支持的话空间后台一般都有日志WebLog日志下载这个功能把它下载到根目录在用FTP传到本地就可以,服务器的话可以设置将日志文件下载到指定路径。
IIS日志强烈建议设置成每小时生成一次,小型的企业站和页面内容较少的网站可以设置成一天,它默认是一天,如果内容多或者大型站设置成一天生成一次,那么一天只生成一个文件,这个文件会相当的大,有时电脑打开是会造成死机,设置的话找空间商协调设置即可。
IIS日志如何分析
1.日志的后缀名是log的可以用记事本打开,选择格式里的自动换行这样看起来方便,同时用搜索功能搜索BaiduSpider和Googlebot这两个蜘蛛。
例如:
百度蜘蛛
2012-03-1300:47:10W3SVC177116.255.169.37GET/-80-220.181.51.144Baiduspider-favo+(+baidu/search/spider)2000015256197265?
谷歌机器人
2012-03-1308:18:48W3SVC177116.255.169.37GET/robots.txt-80-222.186.24.26Googlebot/2.1+(+google/bot)2000098520031?
来分段来解释
2012-03-1300:47:10蜘蛛爬取的日期和时间点
W3SVC177这个是机器码这个是惟一的我们不去管它
116.255.169.37这个IP地址是服务器的IP地址
GET代表事件
GET后面就是蜘蛛爬取的网站页面,斜杠就代表首页
80是端口的意思
220.181.51.144这个IP则是蜘蛛的IP,这里告诉大家一个鉴别真假百度蜘蛛的方法,我们电脑点击开始运行输入cmd打开命令提示符,输入nslookup空格加蜘蛛IP点击回车,一般真百度蜘蛛都有自己的服务器IP而假蜘蛛则没有。
如果网站中出现了大量的假蜘蛛则说明有人冒充百度蜘蛛来采集你的内容,你就需要注意了,如果太猖獗那会很占用你的服务器资源,我们需要屏蔽他们的IP.
20000这里是状态码状态码的意思可以在百度里搜索下
- 西安天讯:怎样添加百度蜘蛛访问网站日志log日志
- apache访问日志开启百度蜘蛛访问记录格式并设置按天记录
- 利用网站日志分析百度蜘蛛爬行规律
- mysql添加log日志
- 常见的百度蜘蛛IP 日志分析
- 使用PHP实现蜘蛛访问日志统计
- 浅析网站日志LOG文件
- JNI中添加log日志
- LOG日志特别大,怎样"瘦身"
- LOG日志特别大,怎样"瘦身"
- 怎样更好地设计日志类Log
- 怎样更好地设计日志类Log
- 百度蜘蛛 禁止访问
- 蜘蛛饲养日志
- 分析网站原始访问日志
- 网站访问日志看安全
- 解说网站IIS日志蜘蛛爬行状态代码
- 网站日志中的搜索引擎蜘蛛返回HTTP状态代码
- tChart X轴时间显示以及Y轴自动范围
- Lua 语言特性
- JNI简单使用之二:C/C++调用JAVA
- ical4j发送会议日历时差问题
- SCU4440-Rectangle
- 西安天讯:怎样添加百度蜘蛛访问网站日志log日志
- Android手电筒
- Magento-2.x:以編程的方式通過UpgradeData.php新增Block & Category & SubCategory
- org.springframework.web.HttpMediaTypeNotAcceptableException: Could not find acceptable representatio
- jmeter参数化
- 使用opengl的geometry总结及其源代码
- 红宝书 第18章整理——XML与JS
- Python中偏函数的理解
- Redis五种类型存储