MongoDB在java中的使用

在一年前就开始在项目中使用Mongodb作为爬虫（crawler）待下载URL、下载成功URL等的存储库，最近对项目进行版本更新，根据Mongodb的最近升级情况，也对项目中的Mongodb进行了相关的调整。

主要的调整在于2.10.0版本中引入了MongoClient类，同时在其API中也说明了Mongo类会在将来的版本中被MongoClient替换（Note: This class has been superseded byMongoClient, and may be deprecated in a future release.）。故在这次调整中，也对原先的Mongodb部分做了相应的修改。

MongoClient被设计成线程安全、可以被多线程共享的。通常访问数据库集群的应用只需要一个实例，所以这次调整我们设计成单例形式。如果出于某些原因，你决定使用多个实例，请注意：所有资源使用限制（最大连接数等等）对每个MongoClient都适用；销毁一个实例时，请确认调用MongoClient.close()方法来清理资源。

下面给出相关的代码：

接口类

/**  * 项目名：SpiderCrawler  * 文件名：MongoDBDao.java  * 作者：zhouyh  * 时间：2014-8-30 下午03:46:55  * 描述：TODO(用一句话描述该文件做什么)   */package com.newsTest.dao;import java.util.ArrayList;import com.mongodb.DB;import com.mongodb.DBCollection;import com.mongodb.DBObject;/** * 类名： MongoDBDao * 包名： com.newsTest.dao * 作者： zhouyh * 时间： 2014-8-30 下午03:46:55 * 描述： TODO(这里用一句话描述这个类的作用)  */public interface MongoDBDao {/** *  * 方法名：getDb * 作者：zhouyh * 创建时间：2014-8-30 下午03:53:40 * 描述：获取指定的mongodb数据库 * @param dbName * @return */public DB getDb(String dbName);/** *  * 方法名：getCollection * 作者：zhouyh * 创建时间：2014-8-30 下午03:54:43 * 描述：获取指定mongodb数据库的collection集合 * @param dbName数据库名 * @param collectionName数据库集合 * @return */public DBCollection getCollection(String dbName, String collectionName);/** *  * 方法名：inSert * 作者：zhouyh * 创建时间：2014-8-30 下午04:07:35 * 描述：向指定的数据库中添加给定的keys和相应的values * @param dbName * @param collectionName * @param keys * @param values * @return */public boolean inSert(String dbName, String collectionName, String[] keys, Object[] values);/** *  * 方法名：delete * 作者：zhouyh * 创建时间：2014-8-30 下午04:09:00 * 描述：删除数据库dbName中，指定keys和相应values的值 * @param dbName * @param collectionName * @param keys * @param values * @return */public boolean delete(String dbName, String collectionName, String[] keys, Object[] values);/** *  * 方法名：find * 作者：zhouyh * 创建时间：2014-8-30 下午04:11:11 * 描述：从数据库dbName中查找指定keys和相应values的值 * @param dbName * @param collectionName * @param keys * @param values * @param num * @return */public ArrayList<DBObject> find(String dbName, String collectionName, String[] keys, Object[] values, int num);/** *  * 方法名：update * 作者：zhouyh * 创建时间：2014-8-30 下午04:17:54 * 描述：更新数据库dbName，用指定的newValue更新oldValue * @param dbName * @param collectionName * @param oldValue * @param newValue * @return */public boolean update(String dbName, String collectionName, DBObject oldValue, DBObject newValue);/** *  * 方法名：isExit * 作者：zhouyh * 创建时间：2014-8-30 下午04:19:21 * 描述：判断给定的keys和相应的values在指定的dbName的collectionName集合中是否存在 * @param dbName * @param collectionName * @param keys * @param values * @return */public boolean isExit(String dbName, String collectionName, String key, Object value);}

接口实现类：

/**  * 项目名：SpiderCrawler  * 文件名：MongoDBDaoImpl.java  * 作者：zhouyh  * 时间：2014-8-30 下午04:21:11  * 描述：TODO(用一句话描述该文件做什么)   */package com.newsTest.dao.impl;import java.net.UnknownHostException;import java.util.ArrayList;import com.newsTest.dao.MongoDBDao;import com.mongodb.BasicDBObject;import com.mongodb.DB;import com.mongodb.DBCollection;import com.mongodb.DBCursor;import com.mongodb.DBObject;import com.mongodb.MongoClient;import com.mongodb.MongoClientOptions;import com.mongodb.MongoException;import com.mongodb.WriteResult;/** * 类名： MongoDBDaoImpl * 包名： com.newsTest.dao.impl * 作者： zhouyh * 时间： 2014-8-30 下午04:21:11 * 描述： TODO(这里用一句话描述这个类的作用)  */public class MongoDBDaoImpl implements MongoDBDao{/** * MongoClient的实例代表数据库连接池，是线程安全的，可以被多线程共享，客户端在多线程条件下仅维持一个实例即可 * Mongo是非线程安全的，目前mongodb API中已经建议用MongoClient替代Mongo */private MongoClient mongoClient = null;/** *  * 私有的构造函数 * 作者：zhouyh */private MongoDBDaoImpl(){if(mongoClient == null){MongoClientOptions.Builder build = new MongoClientOptions.Builder();build.connectionsPerHost(50);//与目标数据库能够建立的最大connection数量为50build.autoConnectRetry(true);//自动重连数据库启动build.threadsAllowedToBlockForConnectionMultiplier(50);//如果当前所有的connection都在使用中，则每个connection上可以有50个线程排队等待/* * 一个线程访问数据库的时候，在成功获取到一个可用数据库连接之前的最长等待时间为2分钟 * 这里比较危险，如果超过maxWaitTime都没有获取到这个连接的话，该线程就会抛出Exception * 故这里设置的maxWaitTime应该足够大，以免由于排队线程过多造成的数据库访问失败 */build.maxWaitTime(1000*60*2);build.connectTimeout(1000*60*1);//与数据库建立连接的timeout设置为1分钟MongoClientOptions myOptions = build.build();try {//数据库连接实例mongoClient = new MongoClient("127.0.0.1", myOptions);} catch (UnknownHostException e) {// TODO 这里写异常处理的代码e.printStackTrace();} catch (MongoException e){e.printStackTrace();}}}/********单例模式声明开始，采用饿汉式方式生成，保证线程安全********************///类初始化时，自行实例化，饿汉式单例模式private static final MongoDBDaoImpl mongoDBDaoImpl = new MongoDBDaoImpl();/** *  * 方法名：getMongoDBDaoImplInstance * 作者：zhouyh * 创建时间：2014-8-30 下午04:29:26 * 描述：单例的静态工厂方法 * @return */public static MongoDBDaoImpl getMongoDBDaoImplInstance(){return mongoDBDaoImpl;}/************************单例模式声明结束*************************************/@Overridepublic boolean delete(String dbName, String collectionName, String[] keys,Object[] values) {DB db = null;DBCollection dbCollection = null;if(keys!=null && values!=null){if(keys.length != values.length){//如果keys和values不对等，直接返回falsereturn false;}else{try {db = mongoClient.getDB(dbName);//获取指定的数据库dbCollection = db.getCollection(collectionName);//获取指定的collectionName集合BasicDBObject doc = new BasicDBObject();//构建删除条件WriteResult result = null;//删除返回结果String resultString = null;for(int i=0; i<keys.length; i++){doc.put(keys[i], values[i]);//添加删除的条件}result = dbCollection.remove(doc);//执行删除操作resultString = result.getError();if(null != db){try {db.requestDone();//请求结束后关闭dbdb = null;} catch (Exception e) {// TODO: handle exceptione.printStackTrace();}}return (resultString!=null) ? false : true;//根据删除执行结果进行判断后返回结果} catch (Exception e) {// TODO: handle exceptione.printStackTrace();} finally{if(null != db){db.requestDone();//关闭dbdb = null;}}}}return false;}@Overridepublic ArrayList<DBObject> find(String dbName, String collectionName,String[] keys, Object[] values, int num) {ArrayList<DBObject> resultList = new ArrayList<DBObject>();//创建返回的结果集DB db = null;DBCollection dbCollection = null;DBCursor cursor = null;if(keys!=null && values!=null){if(keys.length != values.length){return resultList;//如果传来的查询参数对不对，直接返回空的结果集}else{try {db = mongoClient.getDB(dbName);//获取数据库实例dbCollection = db.getCollection(collectionName);//获取数据库中指定的collection集合BasicDBObject queryObj = new BasicDBObject();//构建查询条件for(int i=0; i<keys.length; i++){//填充查询条件queryObj.put(keys[i], values[i]);}cursor = dbCollection.find(queryObj);//查询获取数据int count = 0;if(num != -1){//判断是否是返回全部数据，num=-1返回查询全部数据，num!=-1则返回指定的num数据while(count<num && cursor.hasNext()){resultList.add(cursor.next());count++;}return resultList;}else{while(cursor.hasNext()){resultList.add(cursor.next());}return resultList;}} catch (Exception e) {// TODO: handle exception} finally{if(null != cursor){cursor.close();}if(null != db){db.requestDone();//关闭数据库请求}}}}return resultList;}@Overridepublic DBCollection getCollection(String dbName, String collectionName) {// TODO Auto-generated method stubreturn mongoClient.getDB(dbName).getCollection(collectionName);}@Overridepublic DB getDb(String dbName) {// TODO Auto-generated method stubreturn mongoClient.getDB(dbName);}@Overridepublic boolean inSert(String dbName, String collectionName, String[] keys,Object[] values) {DB db = null;DBCollection dbCollection = null;WriteResult result = null;String resultString = null;if(keys!=null && values!=null){if(keys.length != values.length){return false;}else{db = mongoClient.getDB(dbName);//获取数据库实例dbCollection = db.getCollection(collectionName);//获取数据库中指定的collection集合BasicDBObject insertObj = new BasicDBObject();for(int i=0; i<keys.length; i++){//构建添加条件insertObj.put(keys[i], values[i]);}try {result = dbCollection.insert(insertObj);resultString = result.getError();} catch (Exception e) {// TODO: handle exceptione.printStackTrace();}finally{if(null != db){db.requestDone();//请求结束后关闭db}}return (resultString != null) ? false : true;}}return false;}@Overridepublic boolean isExit(String dbName, String collectionName, String key,Object value) {// TODO Auto-generated method stubDB db = null;DBCollection dbCollection = null;if(key!=null && value!=null){try {db = mongoClient.getDB(dbName);//获取数据库实例dbCollection = db.getCollection(collectionName);//获取数据库中指定的collection集合BasicDBObject obj = new BasicDBObject();//构建查询条件obj.put(key, value);if(dbCollection.count(obj) > 0) {return true;}else{return false;}} catch (Exception e) {// TODO: handle exceptione.printStackTrace();} finally{if(null != db){db.requestDone();//关闭dbdb = null;}}}return false;}@Overridepublic boolean update(String dbName, String collectionName,DBObject oldValue, DBObject newValue) {DB db = null;DBCollection dbCollection = null;WriteResult result = null;String resultString = null;if(oldValue.equals(newValue)){return true;}else{try {db = mongoClient.getDB(dbName);//获取数据库实例dbCollection = db.getCollection(collectionName);//获取数据库中指定的collection集合result = dbCollection.update(oldValue, newValue);resultString = result.getError();return (resultString!=null) ? false : true;} catch (Exception e) {// TODO: handle exceptione.printStackTrace();} finally{if(null != db){db.requestDone();//关闭dbdb = null;}}}return false;}/** * 方法名：main * 作者：zhouyh * 创建时间：2014-8-30 下午04:21:11 * 描述：TODO(这里用一句话描述这个方法的作用) * @param args */public static void main(String[] args) {// TODO Auto-generated method stub}}

这里使用的mongodb的java驱动版本是2.11.4，相关的驱动版本可以从这里下载mongodb java驱动，也可以查看相关的mongodb的api