Java操作MongoDB Map Reduce的使用
来源:互联网 发布:怪物猎人ol捏脸数据库 编辑:程序博客网 时间:2024/04/28 11:16
因工作需要,把数据库中的旧数据导出并以JSON格式存到本地。考虑到数据量已经达到了十几个G,因此用sql直接查询显然是行不通的。
所以就想到了使用MongoDB,关于MongoDB的安装,Mongo Shell的命令以及基本增删改查操作可以参考CSDN上的其他文章。这里就不多说了。
进入正题,既然是JAVA操作,那么首先需要的就是MongoDB的java驱动包,我使用的是3.4版本的,需要的朋友可以到 http://download.csdn.net/detail/a18716374124/9887041自行下载。
首先使用sql读取MySQL数据库服务器上的数据,然后使用insert插入到MongoDB本地服务器中。然后从mongo
本地服务器读取数据,通过map reduce处理返回想要的json文本格式。
查询Mongodb官网资料,可以明白Map Reduce可以通过js脚本转换成想要的格式。代码如下:
String map = "function () {"
+ " var key = this.custNo; "
+ " var value = {custNo: this.custNo,loanNo:this.loanNo,"
+ " list:[{"
+ " certNo:this.list.certNo,"
+ " phoneNo:this.list.phoneNo,"
+ " phoneName:this.list.phoneName,"
+ " othMsg:this.list.othMsg"
+ " }]"
+ " };"
+ " emit(key, value);"
+ "}";
// reduce 函数
String reduce = "function(key, values) {"
+ " var result = {custNo:key,loanNo:null,list:[]};"
+ " values.forEach( function(value) {"
+ " result.list = result.list.concat(value.list);"
+ " });"
+ " result.loanNo = values[0].loanNo;"
+ " return result;"
+ "}";
BasicDBObject query = new BasicDBObject();
MapReduceCommand cmd = new MapReduceCommand(calllists, map, reduce,
"out_user", MapReduceCommand.OutputType.REPLACE, query);// out_user是指定的输出数据的集合
MapReduceOutput out = calllists.mapReduce(cmd);
Object [] str_array = null; //通过数组读取jsonstr
String jsonStr = null; //保存最终得到的json格式
for (DBObject o : out.results()) {
str_array = o.toMap().values().toArray();
jsonStr = str_array[1].toString();
}
最后得到的JSON格式如下:
{
"custNo": "456654",
"loanNo": "654321",
"list": [
{
"certNo": "130406199302073017",
"phoneNo": "18583738107",
"phoneName": "duxin",
"othMsg":"jjj"
},
{
"certNo": "654321",
"phoneNo": "13256565544",
"phoneName": "haha",
"othMsg":"hahaha"
}
]
}
- Java操作MongoDB Map Reduce的使用
- mongoDB的map reduce
- map-reduce Java API操作及map reduce的配置
- Mysql和Mongodb的Map reduce
- MongoDB文档翻译-Map Reduce的并发
- MongoDB Map Reduce教程
- mongodb map reduce
- mongodb map reduce
- mongodb map reduce 原型
- MongoDB:Map-Reduce
- MongoDB Map Reduce
- MongoDB:19-MongoDB-Map Reduce
- MongoDB学习七--MongoDB的Map-Reduce示例
- Map/Reduce操作RCFile的RecordReader
- 不一样的map和reduce操作:
- Optimizing Map/Reduce with MongoDB
- MongoDB文档翻译-Map-Reduce
- Map Reduce操作步骤
- Lambda vs Kappa
- Android 仿刮刮卡效果
- 10 交叉验证3
- php杂谈【基础篇】之_1.PHP常见错误提示
- Linux打开当前路径图形化窗口
- Java操作MongoDB Map Reduce的使用
- java爬虫demo
- ZOJ 2739 & UVA 3399
- Python2.7的IDLE启动没有反应
- 64位WIN10安装QT5.6缺少MSVCP120.dll
- tiny4412学习(二)之移植linux-4.x支持设备树
- Linux搭建—Telnet服务的安装配置
- ubuntu下安装qq操作指南
- Linux升级Header