如何查看spider蜘蛛是否来过你的站(3)
来源:互联网 发布:oceanbase数据库php 编辑:程序博客网 时间:2024/05/06 09:00
220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+
(+http://www.baidu.com/search/spider.htm)"这就说明蜘蛛来过我的站了,如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,都可以查到。
+;+.NET+CLR+1.1.4322;+.NET+CLR+2.0.50727;+CIBA;+.NET+CLR+3.0.04506.648;+.NET+CLR+3.5.21022) 200 0 0 2009-05-07 01:07:48 W3SVC1774326157 110.110.110.39 GET /images_index/icon_gaozhong.jpg - 8077 - 110.110.110.36 Mozilla/4.0+(compatible;+MSIE+8.0;+Windows+NT+5.2;+Trident/4.0;+GTB6;+Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1)
其他经常碰到的HTTP状态码列表如下:
HTTP状态码 摘要说明
成功2×× 成功处理了请求的状态码。
200 服务器已成功处理了请求并提供了请求的网页。
204 服务器成功处理了请求,但没有返回任何内容。
重定向3×× 每次请求中使用重定向不要超过 5 次。
301 请求的网页已永久移动到新位置。当URLs发生变化时,使用301代码。搜索引擎索引中保存新的URL。
302 请求的网页临时移动到新位置。搜索引擎索引中保存原来的URL。
304 如果网页自请求者上次请求后没有更新,则用304代码告诉搜索引擎机器人,可节省带宽和开销。
客户端错误4×× 表示请求可能出错,妨碍了服务器的处理。
400 服务器不理解请求的语法。
403 服务器拒绝请求。
404 服务器找不到请求的网页。服务器上不存在的网页经常会返回此代码。
410 请求的资源永久删除后,服务器返回此响应。该代码与 404(未找到)代码相似,但在资源以前存在而现在不存在的情况下,有时用来替代404 代码。如果资源已永久删除,应当使用 301 指定资源的新位置。
服务器错误5×× 表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误,而不是请求出错。
500 服务器遇到错误,无法完成请求。
503 服务器目前无法使用(由于超载或停机维护)。通常,这只是暂时状态。
- 如何查看spider蜘蛛是否来过你的站(3)
- 如何查看spider蜘蛛,那么怎么才能知道蜘蛛是否来过你的站?
- 如何查看spider蜘蛛,那么怎么才能知道蜘蛛是否来过你的站
- 如何查看你的域名是否被K过
- 通过HTTP状态代码查看搜索引擎蜘蛛如何爬行你的网站
- 对Spider网络蜘蛛的理解
- 简易版的网络蜘蛛Spider
- win7 如何知道别人是否用过你的电脑
- 如何知道蜘蛛爬过你的网站
- 网络蜘蛛Spider简介
- 什么是蜘蛛spider
- 如何百度蜘蛛喜欢你
- 黑客是否光顾过你的电脑
- 彩色的LOG你是否见过!!!
- windows 系统如何查看是否重启过
- 如何查看数据文件或者Log文件是否增长过?
- 如何查看是否使用 npm 安装过某个插件
- 如何查看是否使用 npm 安装过某个插件
- 说狗
- Configuration.ConfigurationSettings 类获取节点值浅谈
- Linux c之 信号屏蔽字sigprocmask()
- Web图片优化总结(2)
- IuCS IuPS IuR IuB Uu接口示意图
- 如何查看spider蜘蛛是否来过你的站(3)
- 为什么说“半封闭式”的互联网社交环境更适合中国人?
- 文件拷贝
- foreach
- SQL Server 2005 镜像构建
- Oracle 执行计划(Explain Plan) 说明
- Hadoop 1.0.3 Symlink
- 字符串处理
- 【Visual C++】游戏开发笔记二十九 一步一步教你用优雅的Direct3D11代码画一个三角形