Mongo-Hadoop
来源:互联网 发布:js开发工具 编辑:程序博客网 时间:2024/06/05 15:06
下载
https://github.com/mongodb/mongo-hadoop/releases
解压到/home/kevin/hadoop/hadoop/share/mongo-hadoop-2.2-1.2.0
(其实是任意,真正分布式的时候要注意这个jar包的问题)
Mapreduce结果输出到MongDB
要修改的代码(input类似 ps:extends Mapper<Object,BSONObject,IntWritable,DoubleWritable>)
//FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));MongoConfigUtil.setOutputURI(conf, "mongodb://localhost:27017/test.out"); job.setOutputFormatClass(MongoOutputFormat.class);
注意:
import的不要是 com.mongodb.hadoop.mapred.MongoInputFormat;,而是
import com.mongodb.hadoop.MongoOutputFormat;import com.mongodb.hadoop.MongoInputFormat;import com.mongodb.hadoop.util.MongoConfigUtil;
BasicBSONObject output = new BasicBSONObject();
output.put("count",count);
output.put("avg",avg);
output.put("sum",sum);
pContext.write(pKey,newBSONWritable(output));
0 0
- Mongo-Hadoop
- hive+hadoop搭建 链接mongo
- MONGO
- mongo
- mongo
- mongo
- mongo
- mongo
- mongo
- Mongo Hadoop Connector使用过程中,hive查询where不可以使用等号"="
- mongo 管理工具 rock mongo
- Mongo登录
- mongo使用
- mongo命令
- mongo笔记
- mongo补充
- mongo索引
- mongo聚合
- JAVA反射机制
- tornado教程资源
- android读取keystore证书文件
- Nginx透传获取客户端IP地址
- Scala 自学笔记2_类
- Mongo-Hadoop
- C++拾遗--多线程:C语言多线程的引入
- Myql 的严格模式与松散模式设置
- javascript操作字符串函数
- Python单元测试——深入理解unittest
- jQuery UI vs EasyUI
- C++拾遗--引用(左值引用、右值引用)
- C/C++ windows 获取CPU核数
- Emacs as a powerful Python IDE