Web Spider
来源:互联网 发布:java源代码加密 编辑:程序博客网 时间:2024/05/16 02:16
转载:http://blog.csdn.net/luojinping/article/details/6870898
每个网络蜘蛛都有自己的名字,在抓取网页的时候,都会向网站标明自己的身份。网络蜘蛛在抓取网页的时候会发送一个请求,这个请求中就有一个字段为User-agent,用于标识此网络蜘蛛的身份。
网络蜘蛛进入一个网站,一般会访问一个特殊的文本文件Robots.txt,这个文件一般放在网站服务器的根目录下,http://www.blogchina.com/robots.txt。网站管理员可以通过robots.txt来定义哪些目录网络蜘蛛不能访问,或者哪些目录对于某些特定的网络蜘蛛不能访问。例如有些网站的可执行文件目录和临时文件目录不希望被搜索引擎搜索到,那么网站管理员就可以把这些目录定义为拒绝访问目录。Robots.txt语法很简单,例如如果对目录没有任何限制,可以用以下两行来描述:
User-agent: *
Disallow:
当然,Robots.txt只是一个协议,如果网络蜘蛛的设计者不遵循这个协议,网站管理员也无法阻止网络蜘蛛对于某些页面的访问,但一般的网络蜘蛛都会遵循这些协议,而且网站管理员还可以通过其它方式来拒绝网络蜘蛛对某些网页的抓取。
网络蜘蛛在下载网页的时候,会去识别网页的HTML代码,在其代码的部分,会有META标识。通过这些标识,可以告诉网络蜘蛛本网页是否需要被抓取,还可以告诉网络蜘蛛本网页中的链接是否需要被继续跟踪。例如:表示本网页不需要被抓取,但是网页内的链接需要被跟踪。
现在一般的网站都希望搜索引擎能更全面的抓取自己网站的网页,因为这样可以让更多的访问者能通过搜索引擎找到此网站。为了让本网站的网页更全面被抓取到,网站管理员可以建立一个网站地图,即SiteMap。许多网络蜘蛛会把sitemap.htm文件作为一个网站网页爬取的入口,网站管理员可以把网站内部所有网页的链接放在这个文件里面,那么网络蜘蛛可以很方便的把整个网站抓取下来,避免遗漏某些网页,也会减小对网站服务器的负担。
0 0
- Web Spider
- Python Spider, Web Crawler
- pre-emptive multithreading web spider
- Web Spider 网络蜘蛛爬虫
- Web Spider的一些资料
- CF Spider's Web 二分
- Spider
- spider
- Spider
- spider
- spider
- spider
- Spider
- Spider
- 在 Linux 上构建 Web spider
- Web Spider提取编码方法总结
- 什么是网络爬虫---Java Web Spider[1]
- Web Spider提取编码方法总结 (一)
- js中的墙头草—this
- ImageView的scaleType属性待总结
- 9.[Leecode]Palindrome Number
- JavaCC -- Linux安装与使用
- iOS学习之iOS沙盒(sandbox)机制和文件操作之NSFileManager(三)
- Web Spider
- linux学习路线
- Manacher算法--O(n)回文子串算法
- PHP + bootstrap modal + jQuery实现页面刷新
- javascript中的严格模式
- mybatis视频
- OKHttp源码解析(一)
- 图文详解OpenTLD C++版平台的搭建
- request.getParameterMap() 转换为 Map<String, Object>