一些场景的优化方案和解决方案
来源:互联网 发布:中国工业实力知乎 编辑:程序博客网 时间:2024/05/22 10:35
两个ArrayList中有大量的数据(比如千万条),直接合并的话对内存的占用是很大的,毕竟ArrayList的底层是操作数组,合并需要创建一个更大的数据来保存之前的两个ArrayList.
此时有一个场景,需要把两个千万级的ArrayList进行合并并且去除之中的重复元素.下意识情况下也许会想到使用Set集合进行去重,然而这样会造成大量的内存浪费,也会造成CPU的大量占用.
ArrayList中去重使用retainAll(),方法内调用batchRemove(),
这里也使用到了数组复制,所以必然占据内存.
别的方法我也想不到,但是虚拟机堆内存大小是比较小的,使用SQL的Group By和distinct进行去重,但是这个方案会受制于磁盘阵列的搭建方式,比如Raid1的效率远远不如Raid0,如果是分布式项目还会存在链路层的限制.
目前没有好的方案,集合对象可以存在泛型,直接使用泛型集合进行去重.
List中的元素实现IEquatable接口,并且提供GetHashCode()和Equals()方法,然后集合对象.distinct().ToList();
代码如下
阅读全文
0 0
- 一些场景的优化方案和解决方案
- SQL的一些优化方案
- Ember的一些高级应用场景解决方案
- 场景加载进度条优化方案
- Cocos2d-x纹理优化的一些方案
- Cocos2d-x纹理优化的一些方案
- Cocos2d-x纹理优化的一些方案
- Cocos2d-x纹理优化的一些方案
- Cocos2d-x纹理优化的一些方案
- Android性能优化的一些方案
- 使用Windows Azure的场景和解决方案
- 一些优化方案
- 前端优化搜索引擎的一些解决方案
- Unity中一些优化方案
- 对于Picasso的封装和优化方案
- 数据库对大数据的一些优化方案
- 研究Mysql优化得出一些建设性的方案
- 一种场景的制作方案
- 【java day3】函数、for、while
- Mysql备份与恢复
- poi生成excel
- 实验六 vlan的基本配置--自我操作
- 一头扎进Maven3 (四)
- 一些场景的优化方案和解决方案
- mysql之 远程连接 mysql 很慢,本地连接 mysql 很快 (skip-name-resolve)
- gson&&fastjson
- 输出价格相同的书名
- 字符串数组初始化相关问题总结
- [算法分析与设计] leetcode 每周一题: 420. Strong Password Checker
- 实验八 常见网络测试命令--自我操作
- 延拓版扫雷
- python多进程、多线程、协程向mysql插入10000条数据