nutch使用入门
来源:互联网 发布:查淘宝产品上架日期 编辑:程序博客网 时间:2024/05/13 09:31
基本概念:
- crawldb,nutch所处理的所有url信息,包括是否被fetch过,以及url被fetch时间。
- linkdb,url links,包括源url和链接文本信息
- segments集合,每一个segment是一组fetched的urls单元,segments包括以下子目录:
1. crawl_generate, 将要被抓取 urls集合
2. crawl_fetch, 正在被抓取的每一个url的状态信息
3. content,从每一个url中提取的原生内容
4. parse_text, 从每一个url中解析出来的文本信息
5. parse_date, 从每一个url中解析出来的链接和元数据
6. crawl_parse, 从url中解析出来的url链接,用于更新crawldb
分布执行步骤:
- 注入爬取所需种子列表,bin/nutch inject crawl/crawldb urls
- 从crawldb中生成要抓取的url列表,bin/nutch generate crawl/crawldb crawl/segments
- 根据url抓取网页,bin/nutch fetch data/segments/201507151245
- 解析网页内容,bin/nutch parse data/segments/201507151245
- 根据抓取结果更新数据库,bin/nutch updated data/crawldb –dir data/segments/201507151245
- 反转索引,在建立索引之前,我们首先对所有的链接进行反转,这样我们才可以对页面的来源锚文本进行索引。
bin/nutch invertlinks data/linkdb –dir data/segments/201507151245
0 0
- nutch使用入门
- nutch安装,使用,二次开发入门 ( by quqi99 )
- Nutch 入门
- Nutch入门
- Nutch 快速入门(Nutch 1.7)
- nutch使用
- nutch入门学习
- Nutch入门学习
- Nutch入门白话版
- Nutch 快速入门(Nutch 2.2.1)
- Nutch 快速入门(Nutch 2.2.1)
- Nutch 快速入门(Nutch 2.2.1)
- ·搜索引擎Nutch介绍(1)-使用Nutch
- 【nutch-1.1】nutch-1.1如何使用
- nutch 初体验-入门篇
- Nutch 安装使用笔记
- Nutch使用调研报告
- Nutch使用随笔
- HDU 3586 Information Disturbing 树形DP+二分
- 网站获取访客QQ号码程序
- php闭包 function() use($obj){ $obj->function() }
- 5. Zend_Log
- 宇宙悲歌
- nutch使用入门
- 安卓xml素材积累
- ios之单例模式
- (转)Eclipse 安装反编译插件jadclipse
- 苹果开发者证与真机调试
- 最短时间内打开应用程序
- 导入WEB工程报HttpServlet相关报找不到解决方法
- 函数判断是否为手机端访问
- 求完美数