mongodb清理collection中大量数据的2种办法
来源:互联网 发布:住宅设计优化 编辑:程序博客网 时间:2024/06/04 12:00
1 shell中for循环清理
每次去连接一下mongo, 进行数据的remove操作
echo "Begin ..." >> /root/time.log;echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log;for((i=1;i<=100000000;i++)); do objectid=`/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "printjson(db.tickets.findOne({"date":{\\$lt:ISODate(\"2013-01-10T01:16:33.303Z\")}},{"_id":1}))"`; /usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin --quiet --eval "db.tickets.remove($objectid)"; echo " done " $objectid " " >> /root/tickets.logdoneecho $(date +%Y-%m-%d-%H:%M:%S) >>/root/time.log;echo "End ..." >> /root/time.log;echo " " >> /root/time.log
2 mongo shell中 for循环 清理
只连接一次mongo, 在mongo shell中for循环清理
[root@mongo ~]# more t.shecho "Begin ..." >> /root/t.log;echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log;/usr/local/mongodb/bin/mongo 127.0.0.1:37017/test -uadmin -padmin t.js;echo $(date +%Y-%m-%d-%H:%M:%S) >>/root/t.log;echo "End ..." >> /root/t.log;echo " " >> /root/t.log[root@mongo ~]# [root@mongo ~]# [root@mongo ~]# more t.jsfor( var i=1 ; i<=100000000; i++ ) { var objectid = db.tickets.findOne({date:{$lt:ISODate("2013-01-10T01:16:33.303Z")}},{_id:1}); db.tickets.remove(objectid);}[root@mongo ~]#
实际测试, 第一种安全保险的多,但是毕竟慢,清理100G的数据 大概要3天 ,第二种快捷的多(据说有风险,但是我测试没有碰到过),清理100G的数据,用了6个小时.
- mongodb清理collection中大量数据的2种办法
- python中使用collection.find()在mongodb中查询大量数据时的问题
- 剔除大量数据中相同元素的办法[asp]
- mysql中插入大量测试数据的办法
- MongoDB 清理数据
- 爬取58上的大量二手数据并保存在MongoDB中
- Mysql导入导出大量数据的方法、备份恢复办法
- 插入大量数据至MongoDB数据库的速度问题分析
- 清理数据库日志的办法
- 嵌入式中大量数据的管理
- java集合中大量数据的匹配
- Unity中遍历大量的数据
- mongoDB如何复制collection里的数据到另一个collection方法总结
- MongoDB学习笔记2--MongoDB数据库中数据的导入
- MySQL 大量日志的清理方法
- 关于MongoDB中对于Collection中的Array数组的注意事项
- mssql插入数据的2种办法
- mongodb list 大量插入数据 Bulk()
- Spring HTTP Remote Invoker的一个问题
- PAT1057.Stack (30)
- myeclipse 添加XSD或者DTD文件
- linux shell command
- IOS开发(27)之UITableView的Cell显示长按快捷菜单
- mongodb清理collection中大量数据的2种办法
- java泛型
- 在360浏览器下使用ajax无效的一点案例
- 1504: ZZ的橱柜
- flex 常用元标签讲解
- CentOS5.5 下搭建 PHP 环境(最佳的LAMP环境)
- Java_Set_TreeSet,HashSet
- Java中的引用传递和代码块
- perl shell php python 的区别