10种检测Python程序运行时间、CPU和内存占用的方法
来源:互联网 发布:朝鲜族美女 知乎 编辑:程序博客网 时间:2024/06/06 07:14
10种检测Python程序运行时间、CPU和内存占用的方法
作者:Marina Mele 字体:[增加 减小] 类型:转载 时间:2015-04-01 我要评论
在运行复杂的Python程序时,执行时间会很长,这时也许想提高程序的执行效率。但该怎么做呢?
首先,要有个工具能够检测代码中的瓶颈,例如,找到哪一部分执行时间比较长。接着,就针对这一部分进行优化。
同时,还需要控制内存和CPU的使用,这样可以在另一方面优化代码。
因此,在这篇文章中我将介绍7个不同的Python工具,来检查代码中函数的执行时间以及内存和CPU的使用。
1. 使用装饰器来衡量函数执行时间
有一个简单方法,那就是定义一个装饰器来测量函数的执行时间,并输出结果:
import
time
from
functools
import
wraps
def
fn_timer(function):
@wraps
(function)
def
function_timer(
*
args,
*
*
kwargs):
t0
=
time.time()
result
=
function(
*
args,
*
*
kwargs)
t1
=
time.time()
print
(
"Total time running %s: %s seconds"
%
(function.func_name,
str
(t1
-
t0))
)
return
result
return
function_timer
接着,将这个装饰器添加到需要测量的函数之前,如下所示:
@fn_timer
def
myfunction(...):
...
例如,这里检测一个函数排序含有200万个随机数字的数组所需的时间:
@fn_timer
def
random_sort(n):
return
sorted
([random.random()
for
i
in
range
(n)])
if
__name__
=
=
"__main__"
:
random_sort(
2000000
)
执行脚本时,会看到下面的结果:
Total time running random_sort:
1.41124916077
seconds
2. 使用timeit模块
另一种方法是使用timeit模块,用来计算平均时间消耗。
执行下面的脚本可以运行该模块。
python
-
m timeit
-
n
4
-
r
5
-
s
"import timing_functions"
"timing_functions.random_sort(2000000)"
这里的timing_functions是Python脚本文件名称。
在输出的末尾,可以看到以下结果:
4
loops, best of
5
:
2.08
sec per loop
这表示测试了4次,平均每次测试重复5次,最好的测试结果是2.08秒。
如果不指定测试或重复次数,默认值为10次测试,每次重复5次。
3. 使用Unix系统中的time命令
然而,装饰器和timeit都是基于Python的。在外部环境测试Python时,unix time实用工具就非常有用。
运行time实用工具:
$ time
-
p python timing_functions.py
输出结果为:
Total time running random_sort:
1.3931210041
seconds
real
1.49
user
1.40
sys
0.08
第一行来自预定义的装饰器,其他三行为:
- real表示的是执行脚本的总时间
- user表示的是执行脚本消耗的CPU时间。
- sys表示的是执行内核函数消耗的时间。
注意:根据维基百科的定义,内核是一个计算机程序,用来管理软件的输入输出,并将其翻译成CPU和其他计算机中的电子设备能够执行的数据处理指令。
因此,Real执行时间和User+Sys执行时间的差就是消耗在输入/输出和系统执行其他任务时消耗的时间。
4. 使用cProfile模块
如果想知道每个函数和方法消耗了多少时间,以及这些函数被调用了多少次,可以使用cProfile模块。
$ python
-
m cProfile
-
s cumulative timing_functions.py
现在可以看到代码中函数的详细描述,其中含有每个函数调用的次数,由于使用了-s选项(累加),最终结果会根据每个函数的累计执行时间排序。
读者会发现执行脚本所需的总时间比以前要多。这是由于测量每个函数的执行时间这个操作本身也是需要时间。
5. 使用line_profiler模块
line_profiler模块可以给出执行每行代码所需占用的CPU时间。
首先,安装该模块:
$ pip install line_profiler
接着,需要指定用@profile检测哪个函数(不需要在代码中用import导入模块):
@profile
def
random_sort2(n):
l
=
[random.random()
for
i
in
range
(n)]
l.sort()
return
l
if
__name__
=
=
"__main__"
:
random_sort2(
2000000
)
最好,可以通过下面的命令获得关于random_sort2函数的逐行描述。
$ kernprof
-
l
-
v timing_functions.py
其中-l表示逐行解释,-v表示表示输出详细结果。通过这种方法,我们看到构建数组消耗了44%的计算时间,而sort()方法消耗了剩余的56%的时间。
同样,由于需要检测执行时间,脚本的执行时间更长了。
6. 使用memory_profiler模块
memory_profiler模块用来基于逐行测量代码的内存使用。使用这个模块会让代码运行的更慢。
安装方法如下:
pip install memory_profiler
另外,建议安装psutil包,这样memory_profile会运行的快一点:
$ pip install psutil
与line_profiler相似,使用@profile装饰器来标识需要追踪的函数。接着,输入:
$ python
-
m memory_profiler timing_functions.py
脚本的执行时间比以前长1或2秒。如果没有安装psutil包,也许会更长。
从结果可以看出,内存使用是以MiB为单位衡量的,表示的mebibyte(1MiB = 1.05MB)。
7. 使用guppy包
最后,通过这个包可以知道在代码执行的每个阶段中,每种类型(str、tuple、dict等)分别创建了多少对象。
安装方法如下:
$ pip install guppy
接着,将其添加到代码中:
from
guppy
import
hpy
def
random_sort3(n):
hp
=
hpy()
print
"Heap at the beginning of the functionn"
, hp.heap()
l
=
[random.random()
for
i
in
range
(n)]
l.sort()
print
"Heap at the end of the functionn"
, hp.heap()
return
l
if
__name__
=
=
"__main__"
:
random_sort3(
2000000
)
运行代码:
$ python timing_functions.py
可以看到输出结果为:
通过在代码中将heap()放置在不同的位置,可以了解到脚本中的对象创建和删除操作的流程。
- 10种检测Python程序运行时间、CPU和内存占用的方法
- 转载:10种检测Python程序运行时间、CPU和内存占用的方法
- 检测Python程序运行时间和内存占用的方法
- 检测Python程序执行效率及内存和CPU使用的7种方法
- 检测Python程序执行效率及内存和CPU使用的7种方法
- vc下获取程序的运行时间和占用内存
- python计算程序开始到程序结束的运行时间和程序运行的CPU时间
- python程序运行时间(CPU运行时间)
- Linux下评估程序运行时间及内存占用情况的简便方法
- 检测JAVA程序的运行时间方法
- Linux 内存和CPU占用高的程序
- 查看网站占用内存和cpu资源的方法
- ubuntu系统查看内存占用和CPU使用率的方法
- Linux下计算进程的CPU占用和内存占用的编程方法
- Linux下计算进程的CPU占用和内存占用的编程方法
- Linux下计算进程的CPU占用和内存占用的编程方法
- python程序运行时间的几种分析方法
- Ubuntu10.10 下解决Python CPU占用100%的方法
- Eclipse 安装Subclipse,获取spring源码
- Could not use external editor to fetch log message; consider setting the $SVN_EDITOR environment va
- Visual C++ 2015 中的重大更改
- Markov Model 马可夫模型 & Hidden Markov Model 隐马可夫模型
- Yii2.0 探究三 :用户登录机制
- 10种检测Python程序运行时间、CPU和内存占用的方法
- 什么情况下会导致内存泄露
- Visual C++ 2012中的重大更改
- leetcode_383(不定顺序判断是否模式)
- 大公司里怎样开发和部署前端代码
- 算法学习笔记 第一章
- Camtasia Studio制作字幕调整变双行(支持中英文)
- 《Python高效开发实战》实战演练——建立应用2
- Android dalvik挂钩-Xposed框架如何实现挂钩