在内存当中处理大数据计算的策略
来源:互联网 发布:cda数据分析师证书 编辑:程序博客网 时间:2024/05/12 13:54
我读取了大批量的论文到内存当中,然后又按照同名作者进行了分类,然后再对每一块论文根据相似度进行分块。最后再200w+的数据集上跑总是出现java heap space的错误,堆内存溢出。还出现过gc错误
java heap space 的错误原因:
在JVM中如果98%的时间是用于GC且可用的 Heap size 不足2%的时候将抛出此异常信息。
最后的解决办法是把之前分类的结果保存到本地文件当中,其中每一块的分类,使用json数据格式来存储。(使用jackson框架进行转换json)
针对每一块进行排歧的时候,再单独读取每一块。java读写本地文件还是蛮快的,并没有受太大的影响。
关于java内存泄露的介绍:https://www.ibm.com/developerworks/cn/java/l-JavaMemoryLeak/
此文提出,java对内存的回收,主要是通过有向图的方式。如果有对象在main根部不可达,那么就会在下次回收当中被回收掉。
0 0
- 在内存当中处理大数据计算的策略
- 整型数据在内存当中的存放形式
- 数据在内存的存放
- 大数据的处理策略
- float 变量在内存当中的存放形式
- 浮点型在内存当中的存储方式
- 关于浮点数在内存当中的表示
- 浮点型在内存当中的存储方式
- 数据在内存中存放的位置
- 在内存填充64MB的数据
- 查找数据在内存的储存地址
- JAVA的数据在内存中的表现形式
- 数据在内存的存储结构
- 在内存中处理2张表的数据关联运算
- 怎样弄清楚本机的数据在内存处理中是大端法还是小端法
- Image在内存中占用的空间计算
- Image在内存中占用的空间计算
- 获取对象在内存中计算后的样式
- 入行第一天
- C#控件Timer
- ArcGIS网络分析之发布网络分析服务(二)
- python将时间修改成本地的TIME ZONE
- 代码飞检01
- 在内存当中处理大数据计算的策略
- 华为oj 多线程
- iOS开发--在Mac上搭建本地Apache服务器
- 使用Maven 构建 Servlet
- 走在技术的前端——半年总结
- 广告创意设计的灵感来源
- POJ 1862 Stripies
- java代码生成二维码
- 爱客猴(echo)内容管理系统 v3.0