nutch2.1 关于batchId的个人看法
来源:互联网 发布:外星生物知乎 编辑:程序博客网 时间:2024/06/15 06:15
batchId的设置目前我只在generate过程中发现并将其设置到了conf之中,这里是没有疑问的。
但是在fetch过程之中,fetch首先获得的是根据String batchId = (String)args.get(Nutch.ARG_BATCH);
然后在之下直接
if (batchId == null) {
batchId = Nutch.ALL_BATCH_ID_STR; }
那么,我个人就觉得这样做,要batchid何用呢?在代码里没有发现有args.set(Nutch.ARG_BATCH)的地方(可能是没细看),由此,batchid永远的是-all,在这个方法里,应该改为:
if (batchId == null) {
batchId = getConf().get(GeneratorJob.BATCH_ID);
if(batchId==null) batchId = Nutch.ALL_BATCH_ID_STR;
}
一家之言,总之我在程序运行过程中发现的这样设置之后是达到效果的!
- nutch2.1 关于batchId的个人看法
- 关于treeview 的个人看法
- 关于职业生涯的个人看法
- 关于VJ 的个人看法
- 个人关于数据结构的看法
- 关于STL的个人看法
- 关于BCB,VC的一点个人看法
- 谈点关于SmartClient的个人看法。
- 关于电子商务平台的发展及个人看法
- 关于墓地我个人的看法。
- 关于J2EE学习的书籍,个人看法
- 关于管理的一点个人看法
- 关于Ext的一些个人看法
- 个人关于chrome浏览器的一些看法
- 关于换工作的个人看法
- 关于汇编语言位图的个人看法
- 关于内核学习的一些个人看法!
- 关于代码注释我的个人看法
- 大数据量,海量数据处理方法总结
- Linux(CentOS)系统下安装好apache(httpd)服务后,其他电脑无法访问的原因
- Linux,Apache,php,mysql常用的查看版本信息的方法
- oracle索引使用及索引失效总结
- win7系统不用通过软件给U盘加密
- nutch2.1 关于batchId的个人看法
- MongoDB Java 客户端占用大量内存
- reapter中FindControl的用法
- listView和GridView的item设置的高度和宽度不起作用
- ERROR 2002 (HY000) 根本解决办法
- 利用visio在软件开发中各种图
- 程序员笔试笔试-典型编程题——24点游戏(java)
- vim taglist 和语法自动完成
- asp.net 圖片上傳方法/匯總/縮放截取