Python代码中的捕捉性能-CPU分析（解释器）

在这篇文章中，我将介绍一些工具和方法，可以在运行Python脚本时对剖析器进行剖析。

就像在我们之前的文章中一样，CPU分析的含义是一样的，但是现在我们不是针对Python脚本的。相反，我们想知道Python解释器是如何工作的，以及在运行我们的Python脚本时花费多少时间。

接下来我们将看到如何跟踪CPU使用情况，并找到解释器中的热点。

系列索引

一旦帖子发布，下面的链接将会生效：

1. 建立
2. 内存分析
3. CPU分析 - Python脚本
4. CPU分析 - Python解释器

---

测量CPU使用率

对于这篇文章，我将主要使用与内存分析和脚本CPU使用相同的脚本，您可以在下面或在这里看到它。

import timedef primes(n):    if n == 2:        return [2]    elif n < 2:        return []    s = []    for i in range(3, n+1):        if i % 2 != 0:            s.append(i)    mroot = n ** 0.5    half = (n + 1) / 2 - 1    i = 0    m = 3    while m <= mroot:        if s[i]:            j = (m * m - 3) / 2            s[j] = 0            while j < half:                s[j] = 0                j += m        i = i + 1        m = 2 * i + 3    l = [2]    for x in s:        if x:            l.append(x)    return ldef benchmark():        start = time.time()        for _ in xrange(40):                count = len(primes(1000000))        end = time.time()        print "Benchmark duration: %r seconds" % (end-start)benchmark()

优化后的版本是bellow或here:

import timedef primes(n):    if n==2:        return [2]    elif n<2:        return []    s=range(3,n+1,2)    mroot = n ** 0.5    half=(n+1)/2-1    i=0    m=3    while m <= mroot:        if s[i]:            j=(m*m-3)/2            s[j]=0            while j<half:                s[j]=0                j+=m        i=i+1        m=2*i+3    return [2]+[x for x in s if x]def benchmark():        start = time.time()        for _ in xrange(40):                count = len(primes(1000000))        end = time.time()        print "Benchmark duration: %r seconds" % (end-start)benchmark()

CPython

CPython是多功能的，完全用C编写，因此更容易测量和/或配置文件。您可以在这里找到在GitHub上托管的CPython的源代码。默认情况下，你会看到最新的分支，在写这个的时候是3.7+，但是所有其他的分支都可以下到2.7。

在我们的帖子中，我们将重点介绍CPython 2，但同样的步骤可以成功应用到最新的3版本。

代码覆盖工具

查看正在运行的C代码部分的最简单方法之一是使用代码覆盖率工具。

我们首先克隆回购：

git clone  https://github.com/python/cpython / 
cd cpython 
git checkout 2.7 
./configure

复制目录中的脚本并运行以下命令：

make coverage
./python 04.primes-v1.py
make coverage-lcov

第一行将编译GCOV支持的解释器，第二行将运行工作负载并收集.gcda文件中的分析数据，第三行解析包含分析数据的文件，并在名为的文件夹中创建一堆HTML文件lcov-report。

如果我们index.html在浏览器中打开，我们可以看到解释器源代码中被执行的位置来运行我们的Python脚本。你会看到像下面的东西：

在顶层，我们可以看到构成源代码的每个目录以及覆盖的代码量。例如，我们打开Objects 目录，  listobject.c.gcov.html文件。虽然我们不会完全解读，但我们分析一部分。看下面的部分。

如何阅读？在黄色的列上，你可以看到来自C文件代码的行号。在下一列中，您可以看到特定行被执行的次数。在最右边的列中，您可以看到实际的C源代码。

在这个例子中，这个方法listiter_next被称为6000万次。

我们是如何得到这个功能的？如果我们仔细看看我们的Python脚本，我们观察到它使用了很多列表迭代并追加。（另一点可以导致脚本优化首先）

让我们继续其他一些专用工具。

PERF

有关更多信息，我们可以使用perfLinux系统上提供的工具。官方文档可以在这里阅读。

我们（重新）使用以下内容构建CPython解释器。如果你没有在同一个目录中下载Python脚本，你应该这样做。另外，请确保perf 已安装在您的系统上。

make clean
./configure --with-pydebug
make

运行perf 如下。Brendan Gregg写的这个优秀的页面可以看到更多的使用perf的方法。

sudo perf record ./python 04.primes-v1.py

运行脚本之后，您将看到如下所示的内容：

Benchmark duration: 32.03910684585571 seconds
[21868 refs]
 perf record: Woken up 20 times to write data ]
[ perf record: Captured and wrote 4.914 MB perf.data (125364 samples) ]

要查看结果，运行`sudo ​perf report` 以获得度量。

只有最有趣的电话才能被保存。在上面的屏幕中，我们看到花费的时间最多PyEval_EvalFrameEx。这是主要的解释器循环，我们对这个例子不感兴趣。相反，我们感兴趣的是下一个耗时的功能 -   listiter_next占用10.70％的时间。

运行优化版本后，我们看到以下内容：

经过我们的优化，该listiter_next 功能只消耗了2.11％的时间。读者可以根据口译员的情况做进一步的优化。

Valgrind的/ Callgrind

另一个可以用来查找瓶颈的工具是Valgrind，它的一个叫做callgrind的插件。更多细节可以在这里阅读。

如果尚未完成，我们（重新）使用以下内容构建CPython解释器。如果你没有在同一个目录中下载Python脚本，你应该这样做。另外，请确保valgrind 已安装在您的系统上。

make clean 
./configure --with-pydebug 
make

运行valgrind 如下：

valgrind --tool=callgrind --dump-instr=yes \
--collect-jumps=yes --collect-systime=yes \
--callgrind-out-file=callgrind-%p.out -- ./python 04.primes-v1.py

结果是：

Benchmark duration: 1109.4096319675446 seconds
[21868 refs]
==24152== 
==24152== Events : Ir sysCount sysTime
==24152== Collected : 115949791666 942 208
==24152== 
==24152== I refs: 115,949,791,666

为了可视化，我们将使用KCacheGrind。

kcachegrind callgrind-2327.out

PyPy

在PyPy上，可以成功使用的配置文件是非常有限的，恢复到vmprof，一个由开发PyPy的人写的工具。

首先，从这里下载PyPy 。在此之后，启用pip 对它的支持

bin/pypy -m ensurepip

安装vmprof很简单，只需运行：

bin/pypy -m pip install vmprof

运行工作量为：

bin/pypy -m vmprof --web 04.primes-v1.py

并在浏览器中打开控制台中显示的链接（以http://vmprof.com/#/开头  ）

作者：Alecsandru Patrascu，alecsandru.patrascu [at] rinftech [dot] com

原文：https://pythonfiles.wordpress.com/2017/08/24/hunting-performance-in-python-code-part-4/