python代码调试

http://blog.csdn.net/pipisorry/article/details/45190851

trace模块可以监控Python执行程序的方式，同时生成一个报表来显示程序的每一行执行的次数。这些信息可以用来发现未被自动化测试集所覆盖的程序执行路径，也可以用来研究程序调用图，进而发现模块之间的依赖关系。编写并执行测试可以发现绝大多数程序中的问题，Python使得debug工作变得更加简单，这是因为在大部分情况下，Python都能够将未被处理的错误打印到控制台中，我们称这些错误信息为traceback。如果程序不是在文本控制台中运行的，traceback也能够将错误信息输出到日志文件或是消息对话框中。当标准的traceback无法提供足够的信息时，可以使用cgitb 模块来查看各级栈和源代码上下文中的详细信息，比如局部变量。cgitb模块还能够将这些跟踪信息以HTML的形式输出，用来报告web应用中的错误。

一旦发现了问题出在哪里后，就需要使用到交互式调试器进入到代码中进行调试工作了，pdb模块能够很好地胜任这项工作。该模块可以显示出程序在错误产生时的执行路径，同时可以动态地调整对象和代码进行调试。当程序通过测试并调试后，下一步就是要将注意力放到性能上了。开发者可以使用profile以及timit模块来测试程序的速度，找出程序中到底是哪里很慢，进而对这部分代码独立出来进行调优的工作。Python程序是通过解释器执行的，解释器的输入是原有程序的字节码编译版本。这个字节码编译版本可以在程序执行时动态地生成，也可以在程序打包的时候就生成。compileall模块可以处理程序打包的事宜，它暴露出了打包相关的接口，该接口能够被安装程序和打包工具用来生成包含模块字节码的文件。同时，在开发环境中，compileall模块也可以用来验证源文件是否包含了语法错误。

在源代码级别，pyclbr模块提供了一个类查看器，方便文本编辑器或是其他程序对Python程序中有意思的字符进行扫描，比如函数或者是类。在提供了类查看器以后，就无需引入代码，这样就避免了潜在的副作用影响。

皮皮Blog

Python调试器与pdb模块

Python在pdb模块中包含了一个简单的基于命令行的调试器。pdb模块支持事后调试（post-mortem debugging），栈帧探查（inspection of stack frames），断点（breakpoints），单步调试（single-stepping of source lines）以及代码审查（code evaluation）。

有好几个函数都能够在程序中调用调试器，或是在交互式的Python终端中进行调试工作。

pdb 是 python 自带的一个包，为 python 程序提供了一种交互的源代码调试功能，主要特性包括设置断点、单步调试、进入函数调试、查看当前代码、查看栈片段、动态改变变量的值等。pdb 提供了一些常用的调试命令，详情见表 1。

pdb 常用命令

命令解释break 或 b 设置断点设置断点continue 或 c继续执行程序list 或 l查看当前行的代码段step 或 s进入函数return 或 r执行代码直到从当前函数返回exit 或 q中止并退出next 或 n执行下一行pp打印变量的值help帮助

在所有启动调试器的函数中，函数set_trace()也许是最简易实用的了。如果在复杂程序中发现了问题，可以在代码中插入set_trace()函数，并运行程序。当执行到set_trace()函数时，这就会暂停程序的执行并直接跳转到调试器中，这时候你就可以大展手脚开始检查运行时环境了。当退出调试器时，调试器会自动恢复程序的执行。

假设你的程序有问题，你想找到一个简单的方法来对它进行调试。

如果你的程序崩溃时报了一个异常错误，那么你可以用python3 -i someprogram.py这个命令来运行你的程序，这能够很好地发现问题所在。-i选项表明只要程序终结就立即启动一个交互式shell。在这个交互式shell中，你就可以很好地探查到底发生了什么导致程序的错误。例如，如果你有以下代码：

1

2

3

4

def function(n):

    returnn+10

 

function("Hello")

如果使用python3 -i 命令运行程序就会产生如下输出：

1

2

3

4

5

6

7

8

9

10

python3 -i sample.py

Traceback (most recent call last):

  File"sample.py", line4,in<module>

    function("Hello")

  File"sample.py", line2,infunction

    returnn+10

TypeError: Can't convert 'int'objecttostrimplicitly

>>> function(20)

30

>>>

如果你没有发现什么明显的错误，那么你可以进一步地启动Python调试器。例如：

1

2

3

4

5

6

7

8

9

10

11

12

13

>>> importpdb

>>> pdb.pm()

> sample.py(4)func()

->returnn+10

(Pdb) w

sample.py(6)<module>()

-> func('Hello')

> sample.py(4)func()

->returnn+10

(Pdb) printn

'Hello'

(Pdb) q

>>>

如果你的代码身处的环境很难启动一个交互式shell的话（比如在服务器环境下），你可以增加错误处理的代码，并自己输出跟踪信息。例如：

1

2

3

4

5

6

7

import traceback

import sys

try:

    func(arg)

except:

    print('**** AN ERROR OCCURRED ****')

    traceback.print_exc(file=sys.stderr)

如果你的程序并没有崩溃，而是说程序的行为与你的预期表现的不一致，那么你可以尝试在一些可能出错的地方加入print()函数。如果你打算采用这种方案的话，那么还有些相关的技巧值得探究。首先，函数traceback.print_stack()能够在被执行时立即打印出程序中栈的跟踪信息。例如：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

>>> defsample(n):

...     ifn >0:

...         sample(n-1)

...     else:

...         traceback.print_stack(file=sys.stderr)

...

>>> sample(5)

File "<stdin>", line 1,in<module>

File "<stdin>", line 3,insample

File"<stdin>", line3,insample

File"<stdin>", line3,insample

File"<stdin>", line3,insample

File"<stdin>", line3,insample

File"<stdin>", line5,insample

>>>

可以在程序中任意一处使用pdb.set_trace()手动地启动调试器，就像这样：

1

2

3

4

5

import pdb

def func(arg):

    ...

    pdb.set_trace()

    ...

在深入解析大型程序的时候，这是一个非常实用的技巧，这样操作能够清楚地了解程序的控制流或是函数的参数。比如，一旦调试器启动了之后，你就可以使用print或者w命令来查看变量，来了解栈的跟踪信息。

在进行软件调试时，千万不要让事情变得很复杂。有时候仅仅需要知道程序的跟踪信息就能够解决大部分的简单错误（比如，实际的错误总是显示在跟踪信息的最后一行）。在实际的开发过程中，将print()函数插入到代码中也能够很方便地显示调试信息（只需要记得在调试完以后将print语句删除掉就行了）。调试器的通用用法是在崩溃的函数中探查变量的值，知道如何在程序崩溃以后再进入到调试器中就显得非常实用。在程序的控制流不是那么清楚的情况下，你可以插入pdb.set_trace()语句来理清复杂程序的思路。本质上，程序会一直执行直到遇到set_trace()调用，之后程序就会立刻跳转进入到调试器中。在调试器里，你就可以进行更多的尝试。如果你正在使用Python的IDE，那么IDE通常会提供基于pdb的调试接口，你可以查阅IDE的相关文档来获取更多的信息。

下面是一些Python调试器入门的资源列表：

1. 阅读Steve Ferb的文章 “Debugging in Python”
2. 观看Eric Holscher的截图 “Using pdb, the Python Debugger”
3. 阅读Ayman Hourieh的文章 “Python Debugging Techniques”
4. 阅读 Python documentation for pdb – The Python Debugger
5. 阅读Karen Tracey的D jango 1.1 Testing and Debugging一书中的第九章——When You Don’t Even Know What to Log: Using Debuggers

用Python编写的模块化的GDB可视化前端界面

[gdb-dashboard:Modular visual interface for GDB in Python]

Note: GDBDashBoard要比Peda的对程序的监控状态要多些

皮皮Blog

使用iPDB调试

iPDB是一个极好的工具，我已经用它查出了很多匪夷所思的bug。pip install ipdb 安装该工具，然后在你的代码中import ipdb; ipdb.set_trace()，然后你会在你的程序运行时，获得一个很好的交互式提示。它每次执行程序的一行并且检查变量。

python内置了一个很好的追踪模块，帮助我搞清楚发生了什么。这里有一个没什么用的python程序：

1

2

3

a =1

b =2

a =b

这里是对这个程序的追踪结果：

1

2

3

4

5

6

7

(test)jhaddad@jons-mac-pro ~VIRTUAL_ENV/src$ python -m trace --trace tracing.py                                                                                                        1 ↵ 

 --- modulename: tracing, funcname: <module>

tracing.py(1): a = 1

tracing.py(2): b = 2

tracing.py(3): a = b

 --- modulename: trace, funcname: _unsettrace

trace.py(80):         sys.settrace(None)

当你想要搞清楚其他程序的内部构造的时候，这个功能非常有用。如果你以前用过strace，它们的工作方式很相像

在一些场合，我使用pycallgraph来追踪性能问题。它可以创建函数调用时间和次数的图表。

最后，objgraph对于查找内存泄露非常有用。这里有一篇关于如何使用它查找内存泄露的好文。

[写给已有编程经验的 Python 初学者的总结]

使用 PyCharm 进行调试

PyCharm 是由 JetBrains 打造的一款 Python IDE，具有语法高亮、Project 管理、代码跳转、智能提示、自动完成、单元测试、版本控制等功能，同时提供了对 Django 开发以及 Google App Engine 的支持。分为个人独立版和商业版，需要 license 支持，也可以获取免费的 30 天试用。试用版本的 Pycharm 可以在官网上下载，下载地址为：http://www.jetbrains.com/pycharm/download/index.html。 PyCharm 同时提供了较为完善的调试功能，支持多线程，远程调试等，可以支持断点设置，单步模式，表达式求值，变量查看等一系列功能。PyCharm IDE 的调试窗口布局如图 1 所示。

图 1. PyCharm IDE 窗口布局

下面结合实例讲述如何利用 PyCharm 进行多线程调试。具体调试所用的代码实例见清单 10。

清单 10. PyCharm 调试代码实例

__author__ = 'zhangying' #!/usr/bin/python  import thread  import time  # Define a function for the thread  def print_time( threadName, delay):     count = 0     while count <  5:         count += 1         print "%s: %s" % ( threadName, time.ctime(time.time()) )  def check_sum(threadName,valueA,valueB):     print "to calculate the sum of two number her"    result=sum(valueA,valueB)     print "the result is" ,result;  def sum(valueA,valueB):     if valueA >0 and valueB>0:         return valueA+valueB  def readFile(threadName, filename):     file = open(filename)     for line in file.xreadlines():         print line  try:     thread.start_new_thread( print_time, ("Thread-1", 2, ) )     thread.start_new_thread( check_sum, ("Thread-2", 4,5, ) )     thread.start_new_thread( readFile, ("Thread-3","test.txt",))  except:     print "Error: unable to start thread" while 1:  #  print "end"    pass

在调试之前通常需要设置断点，断点可以设置在循环或者条件判断的表达式处或者程序的关键点。设置断点的方法非常简单：在代码编辑框中将光标移动到需要设置断点的行，然后直接按 Ctrl+F8 或者选择菜单"Run"->"Toggle Line Break Point"，更为直接的方法是双击代码编辑处左侧边缘，可以看到出现红色的小圆点（如图 2）。当调试开始的时候，当前正在执行的代码会直接显示为蓝色。下图中设置了三个断点，蓝色高亮显示的为正在执行的代码。

图 2. 断点设置

表达式求值：在调试过程中有的时候需要追踪一些表达式的值来发现程序中的问题，Pycharm 支持表达式求值，可以通过选中该表达式，然后选择“Run”->”Evaluate Expression”，在出现的窗口中直接选择 Evaluate 便可以查看。

Pychar 同时提供了 Variables 和 Watches 窗口，其中调试步骤中所涉及的具体变量的值可以直接在 variable 一栏中查看。

图 3. 变量查看

如果要动态的监测某个变量可以直接选中该变量并选择菜单”Run”->”Add Watch”添加到 watches 栏中。当调试进行到该变量所在的语句时，在该窗口中可以直接看到该变量的具体值。

图 4. 监测变量

对于多线程程序来说，通常会有多个线程，当需要 debug 的断点分别设置在不同线程对应的线程体中的时候，通常需要 IDE 有良好的多线程调试功能的支持。 Pycharm 中在主线程启动子线程的时候会自动产生一个 Dummy 开头的名字的虚拟线程，每一个 frame 对应各自的调试帧。如图 5，本实例中一共有四个线程，其中主线程生成了三个线程，分别为 Dummy-4,Dummy-5,Dummy-6. 其中 Dummy-4 对应线程 1，其余分别对应线程 2 和线程 3。

图 5. 多线程窗口

当调试进入到各个线程的子程序时，Frame 会自动切换到其所对应的 frame，相应的变量栏中也会显示与该过程对应的相关变量，如图 6，直接控制调试按钮，如 setp in，step over 便可以方便的进行调试。

图 6. 子线程调试

皮皮Blog

使用日志调试

日志信息是软件开发过程中进行调试的一种非常有用的方式，特别是在大型软件开发过程需要很多相关人员进行协作的情况下。开发人员通过在代码中加入一些特定的能够记录软件运行过程中的各种事件信息能够有利于甄别代码中存在的问题。这些信息可能包括时间，描述信息以及错误或者异常发生时候的特定上下文信息。最原始的 debug 方法是通过在代码中嵌入 print 语句，通过输出一些相关的信息来定位程序的问题。但这种方法有一定的缺陷，正常的程序输出和 debug 信息混合在一起，给分析带来一定困难，当程序调试结束不再需要 debug 输出的时候，通常没有很简单的方法将 print 的信息屏蔽掉或者定位到文件。python 中自带的 logging 模块可以比较方便的解决这些问题，它提供日志功能，将 logger 的 level 分为五个级别，可以通过 Logger.setLevel(lvl) 来设置。默认的级别为 warning。

表 2. 日志的级别

Level使用情形DEBUG详细的信息，在追踪问题的时候使用INFO正常的信息WARNING一些不可预见的问题发生，或者将要发生，如磁盘空间低等，但不影响程序的运行ERROR由于某些严重的问题，程序中的一些功能受到影响CRITICAL严重的错误，或者程序本身不能够继续运行

logging lib 包含 4 个主要对象

• logger:logger 是程序信息输出的接口。它分散在不同的代码中使得程序可以在运行的时候记录相应的信息，并根据设置的日志级别或 filter 来决定哪些信息需要输出并将这些信息分发到其关联的 handler。常用的方法有 Logger.setLevel()，Logger.addHandler() ，Logger.removeHandler() ，Logger.addFilter() ，Logger.debug(), Logger.info(), Logger.warning(), Logger.error()，getLogger() 等。logger 支持层次继承关系，子 logger 的名称通常是父 logger.name 的方式。如果不创建 logger 的实例，则使用默认的 root logger，通过 logging.getLogger() 或者 logging.getLogger("") 得到 root logger 实例。
• Handler:Handler 用来处理信息的输出，可以将信息输出到控制台，文件或者网络。可以通过 Logger.addHandler() 来给 logger 对象添加 handler，常用的 handler 有 StreamHandler 和 FileHandler 类。StreamHandler 发送错误信息到流，而 FileHandler 类用于向文件输出日志信息，这两个 handler 定义在 logging 的核心模块中。其他的 hander 定义在 logging.handles 模块中，如 HTTPHandler,SocketHandler。
• Formatter:Formatter 则决定了 log 信息的格式 , 格式使用类似于 %(< dictionary key >)s 的形式来定义，如'%(asctime)s - %(levelname)s - %(message)s'，支持的 key 可以在 python 自带的文档 LogRecord attributes 中查看。
• Filter:Filter 用来决定哪些信息需要输出。可以被 handler 和 logger 使用，支持层次关系，比如如果设置了 filter 为名称为 A.B 的 logger，则该 logger 和其子 logger 的信息会被输出，如 A.B,A.B.C.

清单 12. 日志使用示例

import logging  LOG1=logging.getLogger('b.c')  LOG2=logging.getLogger('d.e')  filehandler = logging.FileHandler('test.log','a')  formatter = logging.Formatter('%(name)s %(asctime)s %(levelname)s %(message)s')  filehandler.setFormatter(formatter)  filter=logging.Filter('b')  filehandler.addFilter(filter)  LOG1.addHandler(filehandler)  LOG2.addHandler(filehandler)  LOG1.setLevel(logging.INFO)  LOG2.setLevel(logging.DEBUG)  LOG1.debug('it is a debug info for log1')  LOG1.info('normal infor for log1')  LOG1.warning('warning info for log1:b.c')  LOG1.error('error info for log1:abcd')  LOG1.critical('critical info for log1:not worked')  LOG2.debug('debug info for log2')  LOG2.info('normal info for log2')  LOG2.warning('warning info for log2')  LOG2.error('error:b.c')  LOG2.critical('critical')

上例设置了 filter b，则 b.c 为 b 的子 logger，因此满足过滤条件该 logger 相关的日志信息会 被输出，而其他不满足条件的 logger（这里是 d.e）会被过滤掉。

清单 13. 输出结果

b.c 2011-11-25 11:07:29,733 INFO normal infor for log1  b.c 2011-11-25 11:07:29,733 WARNING warning info for log1:b.c  b.c 2011-11-25 11:07:29,733 ERROR error info for log1:abcd  b.c 2011-11-25 11:07:29,733 CRITICAL critical info for log1:not worked

logging 的使用非常简单，同时它是线程安全的，下面结合多线程的例子讲述如何使用 logging 进行 debug。

清单 14. 多线程使用 logging

logging.conf  [loggers]  keys=root,simpleExample  [handlers]  keys=consoleHandler  [formatters]  keys=simpleFormatter  [logger_root]  level=DEBUG  handlers=consoleHandler  [logger_simpleExample]  level=DEBUG  handlers=consoleHandler  qualname=simpleExample  propagate=0  [handler_consoleHandler]  class=StreamHandler  level=DEBUG  formatter=simpleFormatter  args=(sys.stdout,)  [formatter_simpleFormatter]  format=%(asctime)s - %(name)s - %(levelname)s - %(message)s  datefmt=  code example:  #!/usr/bin/python  import thread  import time  import logging  import logging.config  logging.config.fileConfig('logging.conf')  # create logger  logger = logging.getLogger('simpleExample')  # Define a function for the thread  def print_time( threadName, delay):  logger.debug('thread 1 call print_time function body')  count = 0  logger.debug('count:%s',count)

使用inspect模块调试

该模块用于调试目的时是非常有用的，它的功能远比这里描述的要多。
import logging, inspect

logging.basicConfig(level=logging.INFO,
    format='%(asctime)s %(levelname)-8s %(filename)s:%(lineno)-4d: %(message)s',
    datefmt='%m-%d %H:%M',
    )
logging.debug('A debug message')
logging.info('Some information')
logging.warning('A shot across the bow')

def test():
    frame,filename,line_number,function_name,lines,index=\
        inspect.getouterframes(inspect.currentframe())[1]
    print(frame,filename,line_number,function_name,lines,index)

test()

# Should print the following (with current date/time of course)
#10-19 19:57 INFO     test.py:9   : Some information
#10-19 19:57 WARNING  test.py:10  : A shot across the bow
#(, 'C:/xxx/pyfunc/magic.py', 16, '', ['test()\n'], 0)

from:http://blog.csdn.net/pipisorry/article/details/45190851

ref:Python 代码调试技巧

对正在运行的 Python 进程插入代码