为什么会出现子站点的CrawlDatum中的ifStart和finished字段与父站点相同?
来源:互联网 发布:微信钱包表结构 mysql 编辑:程序博客网 时间:2024/03/29 18:14
和CrawlDatum中的set()没有关系。
原因是:因为我在Injector第二个job的ReducerClass(即InjectReducer)最后添加了代码
res.setIfStart(true);
res.setFinished(false);
而InjectorReducer类将上一个job产生的<Text,CrawlDatum>键值对和链接数据库CrawlDb中的键值对进行合并,就是将两个数据源中的键值对全部读出来然后写入新的连接数据库CrawlDb中,然后将新的CrawlDb作为最后的连接数据库,删除旧的链接数据库。所以这样就相当于给数据链接库中所有的url链接的IfStart和finished属性重新赋值,所以出现了题目中的问题。
- 为什么会出现子站点的CrawlDatum中的ifStart和finished字段与父站点相同?
- 什么是站点,站点与域的关系
- SNS网站最重要的任务:思考为什么人们会持续访问你的站点
- 部署在阿里云上的wordpress站点时不时会出现数据库连接错误
- SharePoint 2010 子站点迁移到新站点集的根站点
- 百度为什么不收录我的站点?
- 站点与虚拟目录的区别
- 站点
- 好的资源和站点
- 有用的站点和工具
- 虚拟目录和站点的区别
- MeeGo资讯和开发的相关站点与资源汇总
- SharePoint基础之二- 站点和站点集的概念
- SharePoint基础之二- 站点和站点集的概念
- SharePoint基础之二- 站点和站点集的概念
- 安全站点和非安全站点的 URL 管理
- 解读大型站点和小型站点的seo区别
- 解读大型站点和小型站点的seo区别
- 中文字符,汉字处理,避免乱码
- 写给java初学者
- iphone4开发基础教程的技术点总结2
- 杭电ACM 2018 母牛的故事
- Android 如何建立AIDL
- 为什么会出现子站点的CrawlDatum中的ifStart和finished字段与父站点相同?
- PE文件格式
- HDOJ 4081
- HDU 1211 RSA 逆元 快速模取幂
- 高通Android智能平台开发总结
- 正規表現の利用方法
- Oracle BAM的Drill Down实现
- Android Building System 分析(转)
- 百思买裁员2400人 电器零售巨头未来依旧迷茫