Python处理大数据越来越慢的问题
来源:互联网 发布:python epoch time 编辑:程序博客网 时间:2024/04/28 22:34
Python处理大数据越来越慢的问题
Python在对大数据进行处理时,发现随着数据处理量的增大,性能急剧下降。查找原因发现是由于GC(垃圾回收)造成的性能下降。
Python的垃圾回收机制的工作原理为每个对象维护一个引用计数,每次内存对象的创建与销毁都必须修改引用计数,从而在大量的对象创建时,需要大量的执行修改引用计数操作,对于程序执行过程中,额外的性能开销是令人可怕的。并且由于我们算法的原因,数据往往读入内存后不需要释放,所以每次垃圾回收其实都不会回收内存,白白耗费性能去检查每个对象是否可以回收。回收的触发时机有两种可能,一是用户主动调用gc.collect(),二是对象数量超过阈值。
所以正是GC拖慢了程序的性能,所以我们可以考虑在处理的时候禁止垃圾回收。
代码:
import gc
gc.disable();
***程序处理逻辑
gc.enable();
0 0
- Python处理大数据越来越慢的问题
- Matlab长时间运行越来越慢的问题
- 越来越慢的电脑
- 解决Access文件越来越大的问题
- 解决Ubuntu体积越来越大的问题
- 解决上网后系统越来越变慢的问题
- 解决MySQL读取大数据慢的问题
- python 处理大数据
- python处理大数据
- 大数据时代,Java开发的需求量越来越大
- 大数据时代,Java开发的需求量越来越大
- 如何解决windows操作系统越来越大的问题
- 为什么 Lua 的新版本越来越慢?
- 为什么 Lua 的新版本越来越慢?
- YGC越来越慢的原因分析
- WCF 处理大数据问题
- 越来越觉的压力大。
- 大数据的处理
- 字符串常量引起的思考
- Apache和PHP的安装配置
- 64位系统中powerdesigner12.5连接64位oracle 10g R2的方法
- Minimum Path Sum
- Java发送邮件的jar包和实例(经过验证可以使用)
- Python处理大数据越来越慢的问题
- ECShop原型开发(一)个人心得
- 13-Myeclipse文件夹变成包
- storm 原理简介及单机版安装指南(
- win7怎么修改IE主页(防止被修改)
- 读《MySQL性能调优与架构设计》笔记之影响 MySQL Server 性能的相关因素
- eclipse插件
- 使用C/C++ 扩展Python
- World Wind Java开发之八——加载本地缓存文件构建大范围三维场景