ssd_pascal_webcam.py python模块

来源:互联网 发布:国泰安数据库怎么查找 编辑:程序博客网 时间:2024/05/29 00:34
# os 模块

os.sep 可以取代操作系统特定的路径分隔符。windows下为 '\\'
os.name 字符串指示你正在使用的平台。比如对于Windows,它是'nt',而对于Linux/Unix用户,它是 'posix'
os.getcwd() 函数得到当前工作目录,即当前Python脚本工作的目录路径
os.getenv() 获取一个环境变量,如果没有返回none
os.putenv(key, value) 设置一个环境变量值
os.listdir(path) 返回指定目录下的所有文件和目录名
os.remove(path) 函数用来删除一个文件
os.system(command) 函数用来运行shell命令
os.linesep 字符串给出当前平台使用的行终止符。例如,Windows使用 '\r\n',Linux使用 '\n' 而Mac使用 '\r'
os.path.split(path)  函数返回一个路径的目录名和文件名
os.path.isfile() 和os.path.isdir()函数分别检验给出的路径是一个文件还是目录
os.path.exists() 函数用来检验给出的路径是否真地存在
os.curdir  返回当前目录 ('.')
os.mkdir(path) 创建一个目录
os.makedirs(path) 递归的创建目录
os.chdir(dirname) 改变工作目录到dirname    
os.path.getsize(name) 获得文件大小,如果name是目录返回0L
os.path.abspath(name) 获得绝对路径
os.path.normpath(path) 规范path字符串形式
os.path.splitext()  分离文件名与扩展名
os.path.join(path,name) 连接目录与文件名或目录
os.path.basename(path) 返回文件名
os.path.dirname(path) 返回文件路径
os.walk(top,topdown=True,onerror=None)  遍历迭代目录
os.rename(src, dst)  重命名file或者directory src到dst 如果dst是一个存在的directory, 将抛出OSError. 在Unix, 如果dst在存且是一个file, 如果用户有权限的话,它将被安静的替换. 操作将会失败在某些Unix 中如果src和dst在不同的文件系统中. 如果成功, 这命名操作将会是一个原子操作 (这是POSIX 需要). 在 Windows上, 如果dst已经存在, 将抛出OSError,即使它是一个文件. 在unix,Windows中有效。
os.renames(old, new) 递归重命名文件夹或者文件。像rename()

# shutil 模块

shutil.copyfile( src, dst) 从源src复制到dst中去。当然前提是目标地址是具备可写权限。抛出的异常信息为IOException. 如果当前的dst已存在的话就会被覆盖掉
shutil.move( src, dst)  移动文件或重命名
shutil.copymode( src, dst) 只是会复制其权限其他的东西是不会被复制的
shutil.copystat( src, dst) 复制权限、最后访问时间、最后修改时间
shutil.copy( src, dst)  复制一个文件到一个文件或一个目录
shutil.copy2( src, dst)  在copy上的基础上再复制文件最后访问时间与修改时间也复制过来了,类似于cp –p的东西
shutil.copy2( src, dst)  如果两个位置的文件系统是一样的话相当于是rename操作,只是改名;如果是不在相同的文件系统的话就是做move操作
shutil.copytree( olddir, newdir, True/Flase)
把olddir拷贝一份newdir,如果第3个参数是True,则复制目录时将保持文件夹下的符号连接,如果第3个参数是False,则将在复制的目录下生成物理副本来替代符号连接

shutil.rmtree( src ) 递归删除一个目录以及目录内的所有内容

# math 模块

ceil(x) 取顶
floor(x) 取底
fabs(x) 取绝对值
factorial (x) 阶乘
hypot(x,y)  sqrt(x*x+y*y)
pow(x,y) x的y次方
sqrt(x) 开平方
log(x)
log10(x)
trunc(x)  截断取整数部分
isnan (x)  判断是否NaN(not a number)
degree (x) 弧度转角度
radians(x) 角度转弧度

# stat 模块

stat 系统调用时用来返回相关文件的系统状态信息的。

首先我们看一下stat中有哪些属性:

>>> importos
>>> printos.stat("/root/python/zip.py")
(33188,2033080,26626L,1,0,0,864,1297653596,1275528102,1292892895)
>>> printos.stat("/root/python/zip.py").st_mode  #权限模式
33188
>>> printos.stat("/root/python/zip.py").st_ino  #inode number
2033080
>>> printos.stat("/root/python/zip.py").st_dev   #device
26626
>>> printos.stat("/root/python/zip.py").st_nlink #number of hard links
1
>>> printos.stat("/root/python/zip.py").st_uid   #所有用户的user id
0
>>> printos.stat("/root/python/zip.py").st_gid   #所有用户的group id
0
>>> printos.stat("/root/python/zip.py").st_size #文件的大小,以位为单位
864
>>> printos.stat("/root/python/zip.py").st_atime #文件最后访问时间
1297653596
>>> printos.stat("/root/python/zip.py").st_mtime #文件最后修改时间
1275528102
>>> printos.stat("/root/python/zip.py").st_ctime #文件创建时间
1292892895

 正如你上面看到的,你可以直接访问到这些属性值。

好了,下面我来看看python中的stat模块,先看看自带的例子:

复制代码
import os, sysfrom stat import *def walktree(top, callback):    '''recursively descend the directory tree rooted at top,       calling the callback function for each regular file'''    for f in os.listdir(top):        pathname = os.path.join(top, f)        mode = os.stat(pathname).st_mode        if S_ISDIR(mode):            # It's a directory, recurse into it            walktree(pathname, callback)        elif S_ISREG(mode):            # It's a file, call the callback function            callback(pathname)        else:            # Unknown file type, print a message            print 'Skipping %s' % pathnamedef visitfile(file):    print 'visiting', fileif __name__ == '__main__':    walktree(sys.argv[1], visitfile)
复制代码

可以这么理解,os.stat是将文件的相关属性读出来,然后用stat模块来处理,处理方式有多重,就要看看stat提供了什么了。

1.  可以对st_mode做相关的判断,如是否是目录,是否是文件,是否是管道等。

先看一下处理os.stat返回的st_mode结果的函数,就想上面的例子中的一样,这些函数可以做出判断:

复制代码
if stat.S_ISREG(mode):           #判断是否一般文件   print 'Regular file.'elif stat.S_ISLNK (mode):         #判断是否链接文件   print 'Shortcut.'elif stat.S_ISSOCK (mode):        #判断是否套接字文件       print 'Socket.'elif stat.S_ISFIFO (mode):        #判断是否命名管道   print 'Named pipe.'elif stat.S_ISBLK (mode):         #判断是否块设备   print 'Block special device.'elif stat.S_ISCHR (mode):         #判断是否字符设置  print 'Character special device.'
elif stat.S_ISDIR (mode):         #判断是否目录  print 'directory.'##额外的两个函数stat.S_IMODE (mode): #返回文件权限的chmod格式  print 'chmod format.'
stat.S_IFMT (mode): #返回文件的类型  print 'type of fiel.'
 
复制代码

2.   还有一些是各种各样的标示符,这些标示符也可以在os.chmod中使用,下面附上这些标示符的说明:

复制代码
    stat.S_ISUID: Set user ID on execution.                      不常用    stat.S_ISGID: Set group ID on execution.                    不常用    stat.S_ENFMT: Record locking enforced.                                          不常用    stat.S_ISVTX: Save text image after execution.                                在执行之后保存文字和图片    stat.S_IREAD: Read by owner.                                                           对于拥有者读的权限    stat.S_IWRITE: Write by owner.                                                         对于拥有者写的权限    stat.S_IEXEC: Execute by owner.                                                       对于拥有者执行的权限    stat.S_IRWXU: Read, write, and execute by owner.                          对于拥有者读写执行的权限    stat.S_IRUSR: Read by owner.                                                            对于拥有者读的权限    stat.S_IWUSR: Write by owner.                                                          对于拥有者写的权限    stat.S_IXUSR: Execute by owner.                                                       对于拥有者执行的权限    stat.S_IRWXG: Read, write, and execute by group.                                 对于同组的人读写执行的权限    stat.S_IRGRP: Read by group.                                                             对于同组读的权限    stat.S_IWGRP: Write by group.                                                           对于同组写的权限    stat.S_IXGRP: Execute by group.                                                        对于同组执行的权限    stat.S_IRWXO: Read, write, and execute by others.                          对于其他组读写执行的权限    stat.S_IROTH: Read by others.                                                           对于其他组读的权限    stat.S_IWOTH: Write by others.                                                         对于其他组写的权限    stat.S_IXOTH: Execute by others.                                                      对于其他组执行的权限
复制代码

 

例子:我想获得某个文件的属性信息,并查看他的权限信息,用chmod的格式显示出来。

复制代码
>>> import stat>>> import os>>> st = os.stat('sig.txt')>>> mode = st.st_mode>>> stat.S_IFMT(mode)32768>>> stat.S_IMODE(mode)438>>> print oct(stat.S_IMODE(mode))#oct 是转换为八进制0666
复制代码

# subprocess 模块

一、subprocess以及常用的封装函数
运行python的时候,我们都是在创建并运行一个进程。像Linux进程那样,一个进程可以fork一个子进程,并让这个子进程exec另外一个程序。在Python中,我们通过标准库中的subprocess包来fork一个子进程,并运行一个外部的程序。
subprocess包中定义有数个创建子进程的函数,这些函数分别以不同的方式创建子进程,所以我们可以根据需要来从中选取一个使用。另外subprocess还提供了一些管理标准流(standard stream)和管道(pipe)的工具,从而在进程间使用文本通信。

subprocess.call()
父进程等待子进程完成
返回退出信息(returncode,相当于Linux exit code)

subprocess.check_call()
父进程等待子进程完成
返回0
检查退出信息,如果returncode不为0,则举出错误subprocess.CalledProcessError,该对象包含有returncode属性,可用try…except…来检查

subprocess.check_output()
父进程等待子进程完成
返回子进程向标准输出的输出结果
检查退出信息,如果returncode不为0,则举出错误subprocess.CalledProcessError,该对象包含有returncode属性和output属性,output属性为标准输出的输出结果,可用try…except…来检查。

这三个函数的使用方法相类似,下面来以subprocess.call()举例说明:

复制代码 代码如下:

>>> import subprocess
>>> retcode = subprocess.call(["ls", "-l"])
#和shell中命令ls -a显示结果一样
>>> print retcode
0

将程序名(ls)和所带的参数(-l)一起放在一个表中传递给subprocess.call()

shell默认为False,在Linux下,shell=False时, Popen调用os.execvp()执行args指定的程序;shell=True时,如果args是字符串,Popen直接调用系统的Shell来执行args指定的程序,如果args是一个序列,则args的第一项是定义程序命令字符串,其它项是调用系统Shell时的附加参数。

上面例子也可以写成如下:

复制代码 代码如下:
>>> retcode = subprocess.call("ls -l",shell=True)

在Windows下,不论shell的值如何,Popen调用CreateProcess()执行args指定的外部程序。如果args是一个序列,则先用list2cmdline()转化为字符串,但需要注意的是,并不是MS Windows下所有的程序都可以用list2cmdline来转化为命令行字符串。

subprocess.Popen()

复制代码 代码如下:

class Popen(args, bufsize=0, executable=None, stdin=None, stdout=None, stderr=None, preexec_fn=None, close_fds=False, shell=False, cwd=None, env=None, universal_newlines=False, startupinfo=None, creationflags=0)

实际上,上面的几个函数都是基于Popen()的封装(wrapper)。这些封装的目的在于让我们容易使用子进程。当我们想要更个性化我们的需求的时候,就要转向Popen类,该类生成的对象用来代表子进程。

与上面的封装不同,Popen对象创建后,主程序不会自动等待子进程完成。我们必须调用对象的wait()方法,父进程才会等待 (也就是阻塞block),举例:

复制代码 代码如下:
>>> import subprocess
>>> child = subprocess.Popen(['ping','-c','4','blog.linuxeye.com'])
>>> print 'parent process'

从运行结果中看到,父进程在开启子进程之后并没有等待child的完成,而是直接运行print。

对比等待的情况:

复制代码 代码如下:
>>> import subprocess
>>> child = subprocess.Popen('ping -c4 blog.linuxeye.com',shell=True)
>>> child.wait()
>>> print 'parent process'

从运行结果中看到,父进程在开启子进程之后并等待child的完成后,再运行print。
此外,你还可以在父进程中对子进程进行其它操作,比如我们上面例子中的child对象:
复制代码 代码如下:

child.poll() # 检查子进程状态
child.kill() # 终止子进程
child.send_signal() # 向子进程发送信号
child.terminate() # 终止子进程

子进程的PID存储在child.pid
二、子进程的文本流控制
子进程的标准输入、标准输出和标准错误如下属性分别表示:
复制代码 代码如下:

child.stdin
child.stdout
child.stderr

可以在Popen()建立子进程的时候改变标准输入、标准输出和标准错误,并可以利用subprocess.PIPE将多个子进程的输入和输出连接在一起,构成管道(pipe),如下2个例子:
复制代码 代码如下:
>>> import subprocess
>>> child1 = subprocess.Popen(["ls","-l"], stdout=subprocess.PIPE)
>>> print child1.stdout.read(),
#或者child1.communicate()
>>> import subprocess
>>> child1 = subprocess.Popen(["cat","/etc/passwd"], stdout=subprocess.PIPE)
>>> child2 = subprocess.Popen(["grep","0:0"],stdin=child1.stdout, stdout=subprocess.PIPE)
>>> out = child2.communicate()

subprocess.PIPE实际上为文本流提供一个缓存区。child1的stdout将文本输出到缓存区,随后child2的stdin从该PIPE中将文本读取走。child2的输出文本也被存放在PIPE中,直到communicate()方法从PIPE中读取出PIPE中的文本。
注意:communicate()是Popen对象的一个方法,该方法会阻塞父进程,直到子进程完成


# sys 模块

1.常用内置函数:(不用import就可以直接使用)  
    help(obj) 在线帮助, obj可是任何类型 
    callable(obj) 查看一个obj是不是可以像函数一样调用 
    repr(obj) 得到obj的表示字符串,可以利用这个字符串eval重建该对象的一个拷贝 
    eval_r(str) 表示合法的python表达式,返回这个表达式 
    dir(obj) 查看obj的name space中可见的name 
    hasattr(obj,name) 查看一个obj的name space中是否有name 
    getattr(obj,name) 得到一个obj的name space中的一个name 
    setattr(obj,name,value) 为一个obj的name space中的一个name指向vale这个object 
    delattr(obj,name) 从obj的name space中删除一个name 
    vars(obj) 返回一个object的name space。用dictionary表示 
    locals() 返回一个局部name space,用dictionary表示 
    globals() 返回一个全局name space,用dictionary表示 
    type(obj) 查看一个obj的类型 
    isinstance(obj,cls) 查看obj是不是cls的instance 
    issubclass(subcls,supcls) 查看subcls是不是supcls的子类 
    
  类型转换函数 
    chr(i) 把一个ASCII数值,变成字符 
    ord(i) 把一个字符或者unicode字符,变成ASCII数值 
    oct(x) 把整数x变成八进制表示的字符串 
    hex(x) 把整数x变成十六进制表示的字符串 
    str(obj) 得到obj的字符串描述 
    list(seq) 把一个sequence转换成一个list 
    tuple(seq) 把一个sequence转换成一个tuple 
    dict(),dict(list) 转换成一个dictionary 
    int(x) 转换成一个integer 
    long(x) 转换成一个long interger 
    float(x) 转换成一个浮点数 
    complex(x) 转换成复数 
    max(...) 求最大值 
    min(...) 求最小值 
  用于执行程序的内置函数 
    complie 如果一段代码经常要使用,那么先编译,再运行会更快。 
    
2.和操作系统相关的调用 
  系统相关的信息模块 import sys 
    sys.argv是一个list,包含所有的命令行参数. 
    sys.stdout sys.stdin sys.stderr 分别表示标准输入输出,错误输出的文件对象. 
    sys.stdin.readline() 从标准输入读一行 sys.stdout.write("a") 屏幕输出a 
    sys.exit(exit_code) 退出程序 
    sys.modules 是一个dictionary,表示系统中所有可用的module 
    sys.platform 得到运行的操作系统环境 
    sys.path 是一个list,指明所有查找module,package的路径. 
    
  操作系统相关的调用和操作 import os 
    os.environ 一个dictionary 包含环境变量的映射关系 os.environ["HOME"] 可以得到环境变量HOME的值 
    os.chdir(dir) 改变当前目录 os.chdir('d:\\outlook') 注意windows下用到转义 
    os.getcwd() 得到当前目录 
    os.getegid() 得到有效组id  os.getgid() 得到组id 
    os.getuid() 得到用户id  os.geteuid() 得到有效用户id 
    os.setegid os.setegid() os.seteuid() os.setuid() 
    os.getgruops() 得到用户组名称列表 
    os.getlogin() 得到用户登录名称 
    os.getenv 得到环境变量 
    os.putenv 设置环境变量 
    os.umask 设置umask 
    os.system(cmd) 利用系统调用,运行cmd命令 
    操作举例: 
      os.mkdir('/tmp/xx') os.system("echo 'hello' > /tmp/xx/a.txt") os.listdir('/tmp/xx') 
      os.rename('/tmp/xx/a.txt','/tmp/xx/b.txt') os.remove('/tmp/xx/b.txt') os.rmdir('/tmp/xx') 
      用python编写一个简单的shell 
        #!/usr/bin/python 
        import os, sys 
        cmd = sys.stdin.readline() 
        while cmd: 
            os.system(cmd) 
            cmd = sys.stdin.readline() 
            
  用os.path编写平台无关的程序 
    os.path.abspath("1.txt") == os.path.join(os.getcwd(), "1.txt") 
    os.path.split(os.getcwd()) 用于分开一个目录名称中的目录部分和文件名称部分。 
    os.path.join(os.getcwd(), os.pardir, 'a', 'a.doc') 全成路径名称. 
      os.pardir 表示当前平台下上一级目录的字符 .. 
    os.path.getctime("/root/1.txt")  返回1.txt的ctime(创建时间)时间戳 
    os.path.exists(os.getcwd()) 判断文件是否存在 
    os.path.expanduser('~/dir') 把~扩展成用户根目录 
    os.path.expandvars('$PATH') 扩展环境变量PATH 
    os.path.isfile(os.getcwd()) 判断是否是文件名,1是0否 
    os.path.isdir('c:\Python26\temp') 判断是否是目录,1是0否 
    os.path.islink('/home/huaying/111.sql') 是否是符号连接 windows下不可用 
    os.path.ismout(os.getcwd()) 是否是文件系统安装点 windows下不可用 
    os.path.samefile(os.getcwd(), '/home/huaying') 看看两个文件名是不是指的是同一个文件 
    os.path.walk('/home/huaying', test_fun, "a.c")  
      遍历/home/huaying下所有子目录包括本目录,对于每个目录都会调用函数test_fun. 
      例:在某个目录中,和他所有的子目录中查找名称是a.c的文件或目录。 
        def test_fun(filename, dirname, names): //filename即是walk中的a.c dirname是访问的目录名称 
            if filename in names: //names是一个list,包含dirname目录下的所有内容 
                print os.path.join(dirname, filename) 
        os.path.walk('/home/huaying', test_fun, "a.c") 
        
  文件操作 
    打开文件 
      f = open("filename", "r") r只读 w写 rw读写 rb读二进制 wb写二进制 w+写追加 
    读写文件 
      f.write("a") f.write(str) 写一字符串 f.writeline() f.readlines() 与下read类同 
      f.read() 全读出来 f.read(size) 表示从文件中读取size个字符 
      f.readline() 读一行,到文件结尾,返回空串. f.readlines() 读取全部,返回一个list. list每个元素表示一行,包含"\n"\ 
      f.tell() 返回当前文件读取位置 
      f.seek(off, where) 定位文件读写位置. off表示偏移量,正数向文件尾移动,负数表示向开头移动。 
        where为0表示从开始算起,1表示从当前位置算,2表示从结尾算. 
      f.flush() 刷新缓存 
    关闭文件 
      f.close() 
      
  regular expression 正则表达式 import re 
    简单的regexp 
      p = re.compile("abc") if p.match("abc") : print "match" 
      上例中首先生成一个pattern(模式),如果和某个字符串匹配,就返回一个match object 
      除某些特殊字符metacharacter元字符,大多数字符都和自身匹配。 
      这些特殊字符是 。^ $ * + ? { [ ] \ | ( ) 
    字符集合(用[]表示) 
      列出字符,如[abc]表示匹配a或b或c,大多数metacharacter在[]中只表示和本身匹配。例: 
        a = ".^$*+?{\\|()"  大多数metachar在[]中都和本身匹配,但"^[]\"不同 
        p = re.compile("["+a+"]") 
        for i in a: 
            if p.match(i): 
                print "[%s] is match" %i 
            else: 
                print "[%s] is not match" %i 
        在[]中包含[]本身,表示"["或者"]"匹配.用\[和\]表示. 
        ^出现在[]的开头,表示取反.[^abc]表示除了a,b,c之外的所有字符。^没有出现在开头,即于身身匹配。 
        -可表示范围.[a-zA-Z]匹配任何一个英文字母。[0-9]匹配任何数字。 
        \在[]中的妙用。 
          \d [0-9] 
          \D [^0-9] 
          \s [ \t\n\r\f\v] 
          \S [^ \t\n\r\f\v] 
          \w [a-zA-Z0-9_] 
          \W [^a-zA-Z0-9_] 
          \t 表示和tab匹配, 其他的都和字符串的表示法一致 
          \x20 表示和十六进制ascii 0x20匹配 
          有了\,可以在[]中表示任何字符。注:单独的一个"."如果没有出现[]中,表示出了换行\n以外的匹配任何字符,类似[^\n]. 
      regexp的重复          
        {m,n}表示出现m个以上(含m个),n个以下(含n个).  如ab{1,3}c和abc,abbc,abbbc匹配,不会与ac,abbbc匹配。 
        m是下界,n是上界。m省略表下界是0,n省略,表上界无限大。 
        *表示{,} +表示{1,} ?表示{0,1} 
        最大匹配和最小匹配 python都是最大匹配,如果要最小匹配,在*,+,?,{m,n}后面加一个?. 
        match object的end可以得到匹配的最后一个字符的位置。 
          re.compile("a*").match('aaaa').end()     4  最大匹配 
          re.compile("a*?").match('aaaa').end()    0  最小匹配 
      使用原始字符串 
        字符串表示方法中用\\表示字符\.大量使用影响可读性。 
        解决方法:在字符串前面加一个r表示raw格式。 
        a = r"\a" print a 结果是\a 
        a = r"\"a" print a 结果是\"a 
      使用re模块 
        先用re.compile得到一个RegexObject 表示一个regexp 
        后用pattern的match,search的方法,得到MatchObject 
        再用match object得到匹配的位置,匹配的字符串等信息 
        RegxObject常用函数: 
          >>> re.compile("a").match("abab") 如果abab的开头和re.compile("a")匹配,得到MatchObject 
          <_sre.SRE_Match object at 0x81d43c8> 
          >>> print re.compile("a").match("bbab") 
          None 注:从str的开头开始匹配          
          >>> re.compile("a").search("abab") 在abab中搜索第一个和re_obj匹配的部分 
          <_sre.SRE_Match object at 0x81d43c8> 
          >>> print re.compile("a").search("bbab") 
          <_sre.SRE_Match object at 0x8184e18> 和match()不同,不必从开头匹配          
          re_obj.findall(str) 返回str中搜索所有和re_obj匹配的部分. 
            返回一个tuple,其中元素是匹配的字符串. 
        MatchObject的常用函数 
          m.start() 返回起始位置,m.end()返回结束位置(不包含该位置的字符). 
          m.span() 返回一个tuple表示(m.start(), m.end()) 
          m.pos(), m.endpos(), m.re(), m.string() 
            m.re().search(m.string(), m.pos(), m.endpos()) 会得到m本身 
          m.finditer()可以返回一个iterator,用来遍历所有找到的MatchObject. 
            for m in re.compile("[ab]").finditer("tatbxaxb"): 
            print m.span() 
      高级regexp 
        | 表示联合多个regexp. A B两个regexp,A|B表示和A匹配或者跟B匹配. 
        ^ 表示只匹配一行的开始行首,^只有在开头才有此特殊意义。 
        $ 表示只匹配一行的结尾 
        \A 表示只匹配第一行字符串的开头 ^匹配每一行的行首 
        \Z 表示只匹配行一行字符串的结尾 $匹配第一行的行尾 
        \b 只匹配词的边界 例:\binfo\b 只会匹配"info" 不会匹配information 
        \B 表示匹配非单词边界 
        示例如下: 
          >>> print re.compile(r"\binfo\b").match("info ") #使用raw格式 \b表示单词边界 
          <_sre.SRE_Match object at 0x817aa98> 
          >>> print re.compile("\binfo\b").match("info ") #没有使用raw \b表示退格符号 
          None 
          >>> print re.compile("\binfo\b").match("\binfo\b ") 
          <_sre.SRE_Match object at 0x8174948> 
      分组(Group) 示例:re.compile("(a(b)c)d").match("abcd").groups()   ('abc', 'b')        
        #!/usr/local/bin/python        
        import re        
        x = """ 
        name: Charles 
        Address: BUPT 
        
        name: Ann 
        Address: BUPT 
        """        
        #p = re.compile(r"^name:(.*)\n^Address:(.*)\n", re.M) 
        p = re.compile(r"^name:(?P.*)\n^Address:(?P .*)\n", re.M) 
        for m in p.finditer(x): 
                print m.span() 
                print "here is your friends list" 
                print "%s, %s"%m.groups() 
      Compile Flag 
        用re.compile得到RegxObject时,可以有一些flag用来调整RegxObject的详细特征. 
          DOTALL, S 让.匹配任意字符,包括换行符\n 
          IGNORECASE, I 忽略大小写 
          LOCALES, L 让\w \W \b \B和当前的locale一致 
          MULTILINE, M 多行模式,只影响^和$(参见上例) 
          VERBOSE, X verbose模式

# model_libs 模块

使用pycaffe定义网络

  • 参考链接:Learning LeNet

  • 引入库:

    import caffefrom caffe import layers as Lfrom caffe import params as P
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4
  • 使用pycaffe定义Net:

    n = caffe.NetSpec()
    • 1
    • 1
  • 定义DataLayer:

    n.data, n.label = L.Data(batch_size=batch_size,                         backend=P.Data.LMDB, source=lmdb,                         transform_param=dict(scale=1. / 255), ntop=2)# 效果如下:layer {  name: "data"  type: "Data"  top: "data"  top: "label"  transform_param {    scale: 0.00392156862745  }  data_param {    source: "mnist/mnist_train_lmdb"    batch_size: 64    backend: LMDB  }}
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
  • 定义ConvolutionLayer:

    n.conv1 = L.Convolution(n.data, kernel_size=5,                        num_output=20, weight_filler=dict(type='xavier'))# 效果如下:layer {  name: "conv1"  type: "Convolution"  bottom: "data"  top: "conv1"  convolution_param {    num_output: 20    kernel_size: 5    weight_filler {      type: "xavier"    }  }}
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
  • 定义PoolingLayer:

    n.pool1 = L.Pooling(n.conv1, kernel_size=2,                    stride=2, pool=P.Pooling.MAX)# 效果如下:layer {  name: "pool1"  type: "Pooling"  bottom: "conv1"  top: "pool1"  pooling_param {    pool: MAX    kernel_size: 2    stride: 2  }}
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
  • 定义InnerProductLayer:

    n.ip1 = L.InnerProduct(n.pool2, num_output=500,                       weight_filler=dict(type='xavier'))# 效果如下:layer {  name: "ip1"  type: "InnerProduct"  bottom: "pool2"  top: "ip1"  inner_product_param {    num_output: 500    weight_filler {      type: "xavier"    }  }}                   
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
  • 定义ReLULayer:

    n.relu1 = L.ReLU(n.ip1, in_place=True)# 效果如下:layer {  name: "relu1"  type: "ReLU"  bottom: "ip1"  top: "ip1"}
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
  • 定义SoftmaxWithLossLayer:

    n.loss = L.SoftmaxWithLoss(n.ip2, n.label)# 效果如下:layer {  name: "loss"  type: "SoftmaxWithLoss"  bottom: "ip2"  bottom: "label"  top: "loss"}
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
  • 定义minst网络:

    import caffefrom caffe import layers as Lfrom caffe import params as Pdef lenet(lmdb, batch_size):    n = caffe.NetSpec()    n.data, n.label = L.Data(batch_size=batch_size,                             backend=P.Data.LMDB, source=lmdb,                             transform_param=dict(scale=1. / 255), ntop=2)    n.conv1 = L.Convolution(n.data, kernel_size=5,                            num_output=20, weight_filler=dict(type='xavier'))    n.pool1 = L.Pooling(n.conv1, kernel_size=2,                        stride=2, pool=P.Pooling.MAX)    n.conv2 = L.Convolution(n.pool1, kernel_size=5,                            num_output=50, weight_filler=dict(type='xavier'))    n.pool2 = L.Pooling(n.conv2, kernel_size=2,                        stride=2, pool=P.Pooling.MAX)    n.ip1 = L.InnerProduct(n.pool2, num_output=500,                           weight_filler=dict(type='xavier'))    n.relu1 = L.ReLU(n.ip1, in_place=True)    n.ip2 = L.InnerProduct(n.relu1, num_output=10,                           weight_filler=dict(type='xavier'))    n.loss = L.SoftmaxWithLoss(n.ip2, n.label)    return n.to_proto()
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
  • 保存网络定义:

    with open('mnist/lenet_auto_train.prototxt', 'w') as f:    f.write(str(lenet('mnist/mnist_train_lmdb', 64)))with open('mnist/lenet_auto_test.prototxt', 'w') as f:    f.write(str(lenet('mnist/mnist_test_lmdb', 100)))
    • 1
    • 2
    • 3
    • 4
    • 1
    • 2
    • 3
    • 4
  • lenet_auto_train.prototxt文件如下:(lenet_auto_test.prototxt文件类似):

    layer {  name: "data"  type: "Data"  top: "data"  top: "label"  transform_param {    scale: 0.00392156862745  }  data_param {    source: "mnist/mnist_train_lmdb"    batch_size: 64    backend: LMDB  }}layer {  name: "conv1"  type: "Convolution"  bottom: "data"  top: "conv1"  convolution_param {    num_output: 20    kernel_size: 5    weight_filler {      type: "xavier"    }  }}layer {  name: "pool1"  type: "Pooling"  bottom: "conv1"  top: "pool1"  pooling_param {    pool: MAX    kernel_size: 2    stride: 2  }}layer {  name: "conv2"  type: "Convolution"  bottom: "pool1"  top: "conv2"  convolution_param {    num_output: 50    kernel_size: 5    weight_filler {      type: "xavier"    }  }}layer {  name: "pool2"  type: "Pooling"  bottom: "conv2"  top: "pool2"  pooling_param {    pool: MAX    kernel_size: 2    stride: 2  }}layer {  name: "ip1"  type: "InnerProduct"  bottom: "pool2"  top: "ip1"  inner_product_param {    num_output: 500    weight_filler {      type: "xavier"    }  }}layer {  name: "relu1"  type: "ReLU"  bottom: "ip1"  top: "ip1"}layer {  name: "ip2"  type: "InnerProduct"  bottom: "ip1"  top: "ip2"  inner_product_param {    num_output: 10    weight_filler {      type: "xavier"    }  }}layer {  name: "loss"  type: "SoftmaxWithLoss"  bottom: "ip2"  bottom: "label"  top: "loss"}
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69
    • 70
    • 71
    • 72
    • 73
    • 74
    • 75
    • 76
    • 77
    • 78
    • 79
    • 80
    • 81
    • 82
    • 83
    • 84
    • 85
    • 86
    • 87
    • 88
    • 89
    • 90
    • 91
    • 92
    • 93
    • 94
    • 95
    • 96
    • 97
    • 98
    • 99
    • 100
    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69
    • 70
    • 71
    • 72
    • 73
    • 74
    • 75
    • 76
    • 77
    • 78
    • 79
    • 80
    • 81
    • 82
    • 83
    • 84
    • 85
    • 86
    • 87
    • 88
    • 89
    • 90
    • 91
    • 92
    • 93
    • 94
    • 95
    • 96
    • 97
    • 98
    • 99
    • 100