Mongodb数据库去重

只写干货

写了个爬虫，爬了点数据。由于没有做好爬虫重启和数据库检索，爬取的数据有重复。

如何查看未重复数据的数量：

1. 进入命令行，切换到mongo shell；
2. use 你的数据库名；
3. db.要操作的表名.distinct("针对数据进行区分的键名").length

编写一个去重的脚本

mongodb 在内部是用js来管理的。所以，写一个js文件：

var duplicates = [];db.你的collection名.aggregate([  { $group: {    _id: { 针对数据进行区分的键名: "$针对数据进行区分的键名"},    dups: { "$addToSet": "$_id" },    count: { "$sum": 1 }  }},  { $match: {    count: { "$gt": 1 }  }}],{allowDiskUse: true}).forEach(function(doc) {    doc.dups.shift();    doc.dups.forEach( function(dupId){        duplicates.push(dupId);        }    )})printjson(duplicates);db.你的collection名.remove({_id:{$in:duplicates}})

执行js脚本

在shell中，注意不是在mongo shell 中，输入mongo 你的数据库名 刚才写的js文件的绝对路径

不到2秒就完事儿了，执行速度还可以。不过也可能是我数据量比较小，原始数据约148000条，重复的约有14000条。

后记

重要的还是要做index，在插入的时候就检查。

阅读全文

1 0

• Mongodb数据库去重
• mongodb分组去重
• MongoDB去重
• MongoDB 分组, 去重(转)
• mongodb篇二:mongodb克隆远程数据库,去重查询的命令及对应java语句
• 数据库去重
• 数据库去重问题
• oracle数据库去重
• 数据库数据去重
• 数据库去重
• mysql数据库去重
• 数据库去重
• 数据库去重
• 数据库去重
• 数据库去重
• 数据库去重
• MongoDB--MapReduce分组去重用法
• ndoejs+mongodb 开发2：去重
• php环境搭建
• 设计模式前序
• 2778: 买就打折，不买打骨折
• nyoj20 吝啬的国度（dfs）
• eclipse本地调试tomcat服务器代码，找不到server
• Mongodb数据库去重
• LeetCode：Two Sum
• 表单序列化为JSON对象 serializeObject
• Windows下安装nvm和node.js
• 温泉篝火mod
• Markdown 绘制 UML 图 -- PlantUML + Gravizo
• Struts2入门
• salt python接口使用分组
• 检测浏览器是否支持某css属性