【6】Python 标准库基础

Python 标准库基础

一、实验介绍

1.1 实验内容

本节实验介绍python的标准库。

1.2 实验知识点

• Python基本概念

1.3 实验环境

• python2.7
• Xfce终端

1.4 适合人群

本课程难度为初级，适合没有编程经验的初学者。

二、开发准备

启动Python

登录系统后输入python命令进入交互式操作模式

$ python

三、实验步骤

3.1 操作系统接口

简介

os 模块提供了很多与操作系统交互的函数:

>>> import os>>> os.getcwd()      # Return the current working directory'/home/shiyanlou'>>> os.chdir('/tmp')   # Change current working directory>>> os.system('mkdir today')   # Run the command mkdir in the system shell0

应该用 import os 风格而非 from os import * 。这样可以保证随操作系统不同而有所变化的 os.open() 不会覆盖内置函数 open()

在使用一些像 os 这样的大型模块时内置的 dir() 和 help() 函数非常有用:

>>> import os>>> dir(os)<returns a list of all module functions>>>> help(os)<returns an extensive manual page created from the module's docstrings>

针对日常的文件和目录管理任务，shutil 模块提供了一个易于使用的高级接口:

>>> import shutil>>> shutil.copyfile('Desktop/firefox.desktop', 'firefox2')>>> shutil.move('firefox2', 'firefox3')

3.2 文件通配符

简介

glob 模块提供了一个函数用于从目录通配符搜索中生成文件列表:

>>> import glob, os>>> os.chdir('Desktop')>>> glob.glob('*.desktop')['gvim.desktop', 'lxterminal.desktop', 'firefox.desktop']

3.3 命令行参数

简介

通用工具脚本经常调用命令行参数。这些命令行参数以链表形式存储于 sys 模块的 argv 变量。例如在命令行中执行 python demo.py one two three 后可以得到以下输出结果

>>> import sys>>> print sys.argv['demo.py', 'one', 'two', 'three']

getopt 模块使用 Unix getopt() 函处理 sys.argv 。更多的复杂命令行处理由 argparse 模块提供。

3.4 错误输出重定向和程序终止

简介

sys 还有 stdin ， stdout 和 stderr 属性，即使在 stdout 被重定向时，后者也可以用于显示警告和错误信息

>>> sys.stderr.write('Warning, log file not found starting a new one\n')Warning, log file not found starting a new one

大多脚本的定向终止都使用 sys.exit() 。

3.5 字符串正则匹配

简介

re 模块为高级字符串处理提供了正则表达式工具。对于复杂的匹配和处理，正则表达式提供了简洁、优化的解决方案

>>> import re>>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')['foot', 'fell', 'fastest']>>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat')'cat in the hat'

只需简单的操作时，字符串方法最好用，因为它们易读，又容易调试

>>> 'tea for too'.replace('too', 'two')'tea for two'

3.6 数字

简介

math 模块为浮点运算提供了对底层C函数库的访问

>>> import math>>> math.cos(math.pi / 4.0)0.70710678118654757>>> math.log(1024, 2)10.0

random 提供了生成随机数的工具

>>> import random>>> random.choice(['apple', 'pear', 'banana'])'apple'>>> random.sample(xrange(100), 10)   # sampling without replacement[30, 83, 16, 4, 8, 81, 41, 50, 18, 33]>>> random.random()    # random float0.17970987693706186>>> random.randrange(6)    # random integer chosen from range(6)4

3.7 互联网访问

简介

有几个模块用于访问互联网以及处理网络通信协议。其中最简单的两个是用于处理从 urls 接收的数据的 urllib2 以及用于发送电子邮件的 smtplib（下面例子仅作参考）

>>> import urllib2>>> for line in urllib2.urlopen('https://github.com'):...         line = line.decode('utf-8')  # Decoding the binary data to text....         print line>>> import smtplib>>> server = smtplib.SMTP('localhost') # 可以用网易（smtp.163.com）或腾讯（smtp.qq.com）的SMTP服务器>>> server.sendmail('[e-mail]', '[e-mail]',... """To: [e-mail]... From: [e-mail]...... Beware the Ides of March.... """)>>> server.quit()

3.8 日期和时间

简介

datetime 模块为日期和时间处理同时提供了简单和复杂的方法。支持日期和时间算法的同时，实现的重点放在更有效的处理和格式化输出。该模块还支持时区处理。:

>>> # dates are easily constructed and formatted>>> from datetime import date>>> now = date.today()>>> nowdatetime.date(2003, 12, 2)>>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")'12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'>>> # dates support calendar arithmetic>>> birthday = date(1964, 7, 31)>>> age = now - birthday>>> age.days14368

3.9输出格式

3.9.1 repr 模块

repr 模块为大型的或深度嵌套的容器缩写显示提供了 repr() 函数的一个定制版本:

>>> import repr>>> repr.repr(set('supercalifragilisticexpialidocious'))"set(['a', 'c', 'd', 'e', 'f', 'g', ...])"

3.9.2 pprint 模块

pprint 模块给老手提供了一种解释器可读的方式深入控制内置和用户自定义对象的打印。当输出超过一行的时候，“美化打印（pretty printer）”添加断行和标识符，使得数据结构显示的更清晰:

>>> import pprint>>> t = [[[['black', 'cyan'], 'white', ['green', 'red']], [['magenta',...     'yellow'], 'blue']]]...>>> pprint.pprint(t, width=30)[[[['black', 'cyan'],   'white',   ['green', 'red']],  [['magenta', 'yellow'],   'blue']]]

3.9.3 textwrap 模块

textwrap 模块格式化文本段落以适应设定的屏宽:

>>> import textwrap>>> doc = """The wrap() method is just like fill() except that it returns... a list of strings instead of one big string with newlines to separate... the wrapped lines."""...>>> print textwrap.fill(doc, width=40)The wrap() method is just like fill()except that it returns a list of stringsinstead of one big string with newlinesto separate the wrapped lines.

3.9.4 locale 模块

locale 模块访问预定好的国家信息数据库。locale 的格式化函数属性集提供了一个直接方式以分组标示格式化数字:

>>> import locale>>> locale.setlocale(locale.LC_ALL, 'English_United States.1252')'English_United States.1252'>>> conv = locale.localeconv()          # get a mapping of conventions>>> x = 1234567.8>>> locale.format("%d", x, grouping=True)'1,234,567'>>> locale.format_string("%s%.*f", (conv['currency_symbol'],...                      conv['frac_digits'], x), grouping=True)'$1,234,567.80'

3.10 模板

模版类 Template

string 提供了一个灵活多变的模版类 Template ，使用它最终用户可以用简单的进行编辑。这使用户可以在不进行改变的情况下定制他们的应用程序。

格式使用 \$ 为开头的 Python 合法标识（数字、字母和下划线）作为占位符。占位符外面的大括号使它可以和其它的字符不加空格混在一起。 $$ 创建一个单独的 $:

>>> from string import Template>>> t = Template('${village}folk send $$10 to $cause.')>>> t.substitute(village='Nottingham', cause='the ditch fund')'Nottinghamfolk send $10 to the ditch fund.'

当一个占位符在字典或关键字参数中没有被提供时， substitute() 方法就会抛出一个 KeyError 异常。 对于邮件合并风格的应用程序，用户提供的数据可能并不完整，这时使用 safe_substitute() 方法可能更适合 — 如果数据不完整，它就不会改变占位符:

>>> t = Template('Return the $item to $owner.')>>> d = dict(item='unladen swallow')>>> t.substitute(d)Traceback (most recent call last):  . . .KeyError: 'owner'>>> t.safe_substitute(d)'Return the unladen swallow to $owner.'

模板子类可以指定一个自定义分隔符。 例如，图像查看器的批量重命名工具可能选择使用百分号作为占位符，像当前日期，图片序列号或文件格式:

>>> import time, os.path>>> photofiles = ['img_1074.jpg', 'img_1076.jpg', 'img_1077.jpg']>>> class BatchRename(Template):...     delimiter = '%'>>> fmt = input('Enter rename style (%d-date %n-seqnum %f-format):  ')Enter rename style (%d-date %n-seqnum %f-format):  Ashley_%n%f>>> t = BatchRename(fmt)>>> date = time.strftime('%d%b%y')>>> for i, filename in enumerate(photofiles):...     base, ext = os.path.splitext(filename)...     newname = t.substitute(d=date, n=i, f=ext)...     print('{0} --> {1}'.format(filename, newname))img_1074.jpg --> Ashley_0.jpgimg_1076.jpg --> Ashley_1.jpgimg_1077.jpg --> Ashley_2.jpg

模板的另一个应用是把多样的输出格式细节从程序逻辑中分类出来。这便使得 XML 文件，纯文本报表和 HTML WEB 报表定制模板成为可能。

3.11 使用二进制数据记录布局

pack() 和 unpack() 函数

struct 模块为使用变长的二进制记录格式提供了 pack() 和 unpack() 函数。 下面的示例演示了在不使用 zipfile 模块的情况下如何迭代一个 ZIP 文件的头信息。 压缩码 "H" 和 "I" 分别表示2和4字节无符号数字， "<" 表明它们都是标准大小并且按照 little-endian 字节排序。

import structwith open('myfile.zip', 'rb') as f:    data = f.read()start = 0for i in range(3):                      # show the first 3 file headers    start += 14    fields = struct.unpack('<IIIHH', data[start:start+16])<br ></IIIHH>    crc32, comp_size, uncomp_size, filenamesize, extra_size = fields    start += 16    filename = data[start:start+filenamesize]    start += filenamesize    extra = data[start:start+extra_size]    print filename, hex(crc32), comp_size, uncomp_size    start += extra_size + comp_size     # skip to the next header

3.12 多线程

线程及高级模块 threading

线程是一个分离无顺序依赖关系任务的技术。在某些任务运行于后台的时候应用程序会变得迟缓，线程可以提升其速度。一个有关的用途是在 I/O 的同时，其它线程可以并行计算。

下面的代码显示了高级模块 threading 如何在主程序运行的同时运行任务:

import threading, zipfileclass AsyncZip(threading.Thread):    def __init__(self, infile, outfile):        threading.Thread.__init__(self)        self.infile = infile        self.outfile = outfile    def run(self):        f = zipfile.ZipFile(self.outfile, 'w', zipfile.ZIP_DEFLATED)        f.write(self.infile)        f.close()        print 'Finished background zip of:', self.infilebackground = AsyncZip('mydata.txt', 'myarchive.zip')background.start()print 'The main program continues to run in foreground.'background.join()    # Wait for the background task to finishprint 'Main program waited until background was done.'

多线程应用程序的主要挑战是协调线程，诸如线程间共享数据或其它资源。 为了达到那个目的，线程模块提供了许多同步化的原生支持，包括：锁，事件，条件变量和信号灯。

尽管这些工具很强大，微小的设计错误也可能造成难以挽回的故障。 因此，任务协调的首选方法是把对一个资源的所有访问集中在一个单独的线程中，然后使用 queue 模块用那个线程服务其他线程的请求。 为内部线程通信和协调而使用 Queue 对象的应用程序更易于设计，更可读，并且更可靠。

3.13 日志

logging 模块

logging 模块提供了完整和灵活的日志系统。它最简单的用法是记录信息并发送到一个文件或 sys.stderr:

import logginglogging.debug('Debugging information')logging.info('Informational message')logging.warning('Warning:config file %s not found', 'server.conf')logging.error('Error occurred')logging.critical('Critical error -- shutting down')

输出如下:

WARNING:root:Warning:config file server.conf not foundERROR:root:Error occurredCRITICAL:root:Critical error -- shutting down

默认情况下捕获信息和调试消息并将输出发送到标准错误流。其它可选的路由信息方式通过 email，数据报文，socket 或者 HTTP Server。基于消息属性，新的过滤器可以选择不同的路由： DEBUG, INFO, WARNING, ERROR, 和 CRITICAL 。

日志系统可以直接在 Python 代码中定制，也可以不经过应用程序直接在一个用户可编辑的配置文件中加载。

3.14、弱引用

简介

Python 自动进行内存管理（对大多数的对象进行引用计数和垃圾回收—— garbage collection ——以循环利用）在最后一个引用消失后，内存会很快释放。

这个工作方式对大多数应用程序工作良好，但是偶尔会需要跟踪对象来做一些事。不幸的是，仅仅为跟踪它们创建引用也会使其长期存在。 weakref 模块提供了不用创建引用的跟踪对象工具，一旦对象不再存在，它自动从弱引用表上删除并触发回调。典型的应用包括捕获难以构造的对象:

>>> import weakref, gc>>> class A:...     def __init__(self, value):...             self.value = value...     def __repr__(self):...             return str(self.value)...>>> a = A(10)                   # create a reference>>> d = weakref.WeakValueDictionary()>>> d['primary'] = a            # does not create a reference>>> d['primary']                # fetch the object if it is still alive10>>> del a                       # remove the one reference>>> gc.collect()                # run garbage collection right away0>>> d['primary']                # entry was automatically removedTraceback (most recent call last):  File "<stdin>", line 1, in <module>    d['primary']                # entry was automatically removed  File "C:/python33/lib/weakref.py", line 46, in __getitem__    o = self.data[key]()KeyError: 'primary'

3.15 列表工具

　3.15.1array 模块

很多数据结构可能会用到内置列表类型。然而，有时可能需要不同性能代价的实现。

array 模块提供了一个类似列表的 array() 对象，它仅仅是存储数据，更为紧凑。以下的示例演示了一个存储双字节无符号整数的数组（类型编码 "H" ）而非存储 16 字节 Python 整数对象的普通正规列表

>>> from array import array>>> a = array('H', [4000, 10, 700, 22222])>>> sum(a)26932>>> a[1:3]array('H', [10, 700])

3.15.2 collections 模块

collections 模块提供了类似列表的 deque() 对象，它从左边添加（append）和弹出（pop）更快，但是在内部查询更慢。这些对象更适用于队列实现和广度优先的树搜索:

>>> from collections import deque>>> d = deque(["task1", "task2", "task3"])>>> d.append("task4")>>> print "Handling", d.popleft()Handling task1unsearched = deque([starting_node])def breadth_first_search(unsearched):    node = unsearched.popleft()    for m in gen_moves(node):        if is_goal(m):            return m        unsearched.append(m)

除了链表的替代实现，该库还提供了 bisect 这样的模块以操作存储链表:

>>> import bisect>>> scores = [(100, 'perl'), (200, 'tcl'), (400, 'lua'), (500, 'python')]>>> bisect.insort(scores, (300, 'ruby'))>>> scores[(100, 'perl'), (200, 'tcl'), (300, 'ruby'), (400, 'lua'), (500, 'python')]

heapq 提供了基于正规链表的堆实现。最小的值总是保持在 0 点。这在希望循环访问最小元素但是不想执行完整堆排序的时候非常有用:

>>> from heapq import heapify, heappop, heappush>>> data = [1, 3, 5, 7, 9, 2, 4, 6, 8, 0]>>> heapify(data)                      # rearrange the list into heap order>>> heappush(data, -5)                 # add a new entry>>> [heappop(data) for i in range(3)]  # fetch the three smallest entries[-5, 0, 1]

三、总结

本节讲Python中常用的一些库，os模块能进行操作系统相关方面的操作，glob模块能做文件通配符，命令行参数sys模块，正则表达式re模块，数学操作方面的math模块，互联网访问的urllib2模块，发电子邮件的smtplib模块，关于日期和时间的date模块，关于输出的repr模块，pprint模块，textwrap模块，locale模块，还有string中的模板类Template，关于二进制数据记录布局的struct模块，关于线程的threading模块，关于日志的logging模块，列表工具array模块、collections模块、bisect模块和heapq模块。

四、作业

请查看文档掌握上述所讲的常见库的功能，并能清楚地知道它们应该应用在哪些地方。