nutch的一些读取命令
来源:互联网 发布:js调用webservice接口 编辑:程序博客网 时间:2024/04/30 08:16
最近在研究nutch,整理了一下关于读取资源数据的命令。
1.查看crawldb数据库:bin/nutch readdb url/crawldb/ -stats 这个命令可以查看url地址总数和它的状态及评分。
查看每个url地址的详细内容,导出数据:bin/nutch readdb url/crawldb/ -dump crawldb(导出的地址)
查看具体的url,以163为例:bin/nutch readdb url/crawldb/ -url http://www.163.com/
2.查看linkdb数据库的链接情况:bin/nutch readlinkdb url/linkdb/ -url http://www.163.com/
导出linkdb数据库文件:bin/nutch readlinkdb url/linkdb/ -dump linkdb(导出的地址)
3.查看segments:bin/nutch readseg -list -dir url/segments/ 可以看到每一个segments的名称,产生的页面数,抓取的开始时间和结束时间,抓取数和解析数。
导出segments:bin/nutch readseg -dump url/segments/20090309103156 segdb
- nutch的一些读取命令
- nutch的一些读取命令
- Nutch的一些分析
- Nutch的命令详解
- Nutch的命令详解
- Nutch 的命令
- Nutch的命令详解
- Nutch的命令详解
- Nutch的命令详解
- Nutch的命令详解
- nutch的一些基础整理
- 最近在研究nutch,整理了一下关于读取资源数据的命令。
- [Nutch]Solr命令的使用
- 读取Nutch爬取的网页内容
- 读取nutch爬取的数据内容
- 执行./nutch 命令后出现的nutch脚本用法解读
- Nutch命令
- nutch命令
- js数组的操作
- 三角函数列表
- 桌面美化小软件
- ant安装配置使用详解
- Parallel Studio 2011 中的Intel c++ 命令行
- nutch的一些读取命令
- nutch全网爬行的底层命令
- JAVA中创建一个对象有哪几种方法,有什么区别?
- Linux netstat 命令详解
- Java.util.date 与 java.sql.date区别和转换
- JAVA中初始化顺序
- SQL SERVER 系统表应用
- Python学习笔记之面向对象
- Ubuntu下android开发小技巧