MongoDB数据量大,翻页报错,200多万
来源:互联网 发布:linux 二进制文件 编辑:程序博客网 时间:2024/05/20 22:41
MongoDB.Driver.MongoCommandException: Command aggregate failed: Sort exceeded memory limit of 104857600 bytes, but did not opt in to external sorting. Aborting operation. Pass allowDiskUse:true to opt in..
在 MongoDB.Driver.Linq.MongoQueryProviderImpl`1.Execute(Expression expression)
在 MongoDB.Driver.Linq.MongoQueryableImpl`2.GetEnumerator()
求高僧开导。
------------------------------------ 临时解决方案 01 ------------------------------------------------------------------
1. AggregateOptions args = new AggregateOptions {
AllowDiskUse = true
};
var starDt = DateTime.Now.AddDays(-2);//三天之内
var endDt = DateTime.Now;
var query = _mongo.海量表(几百万).Aggregate(args).ToList().Where(q => q.CreateTime >= starDt && q.CreateTime <= endDt).Select(q => new
{
});
优点:AllowDiskUse 开关,相当于拿硬盘补充内存,可消除查询超时的异常。
缺点:必须要ToList()才能进行Where链条查询,依然没有解决性能问题
2. var starDt = DateTime.Now.AddDays(-2);//三天之内
var endDt = DateTime.Now;
var query = _mongo.海量表.Find(q => q.CreateTime >= starDt && q.CreateTime <= endDt);.
优点:Find可以返回一个IFindFluent<TDocument, TDocument>类型,可以马上进行Where查询操作,之后再进行ToList(),200w海量库从90秒提升到6秒的加速速度
缺点:如果三天之内的条件放开,依然卡得出翔。
求路过高僧指导。
- MongoDB数据量大,翻页报错,200多万
- 大数据量翻页查询的一点经验
- MongoDB 使用大数据量的collection
- 如何导入导出大数据量(1000万条)的表?
- 如何导入导出大数据量(1000万条)的表
- Mysql 插入大数据量数据报错:Lost connection to MySQL server during query
- MongoDB Middle Level---> 大数据量下MapReduce取代GroupBy
- sphinx+mysql+mongodb 大数据量的数据显示
- MongoDB CEO谈NoSQL的大数据量处理能力
- MongoDB CEO谈NoSQL的大数据量处理能力
- MongoDB 在盛大大数据量下的应用
- 物联网大数据量频繁对MongoDB查询问题
- MongoDB用mongoimport导入大文件报错
- mysql插入数据量过大报错解决办法
- 如何优化操作大数据量数据库(几十万以上数据)(二。改善SQL语句)
- 如何优化操作大数据量数据库(几十万以上数据)(一。建立索引)
- PAIP.提升性能---LISTBOX加载30万大数据量终结方案
- mongodb 2 报错
- mysql/mariadb-主从复制
- centos定时任务
- 关于大型网站技术演进的思考(九)--网站静态化处理--总述(1)
- Java基础08 继承
- C#泛型(二)——创建泛型类
- MongoDB数据量大,翻页报错,200多万
- 2017「CIS儿智展」,庆科信息VBS7100智能语音方案获“最佳少儿智能关键技术奖”
- 基于angularjs1.x的自定义滚动条插件
- ORACLE数据库误操作后数据恢复方法
- 菜鸟学SSH(十七)——基于注解的SSH将配置精简到极致
- JS——API兼容(2,isArray)
- Java基础09 类数据与类方法
- dropload.js初始化的坑
- enctype=“multipart/form-data”,Servlet获取参数 原创 2017年03月21日 18:46:44 标签:enctype /servlet文件上传 2094 HTML表