Python学习笔记- 廖雪峰教程【python 2】//为继续学习爬虫准备-02 [待完善]

装饰器的作用：

1 简化代码，避免每个函数编写重复性代码：打印日志@log，检测性能 @performance，数据库事务 @transaction，URL路由@post('/register')

import timedef performance(f):    def fn(*args, **kw):        t1 = time.time()        r = f(*args, **kw)        t2 = time.time()        print 'call %s() in %fs'%(f.__name__,(t2 - t1))        return r    return fn@performancedef factorial(n):    return reduce(lambda x,y: x*y, range(1, n+1))print factorial(10) 

模块和包的概念

将所有代码放入一个py文件：无法维护

如果将代码分拆放入多个py文件，好处：1. 同一个名字的变量互不影响 

模块多了可能重名，不过只要放到不同的包下面就可以解决  

在文件系统中，包就是文件夹，模块就是xxx.py文件 

区分目录和包文件：包文件夹下一定有__init__.py 每层都要有，即使是一个空文件 

如果使用 from...import 导入 log 函数，势必引起冲突。这时，可以给函数起个“别名”来避免冲突：

from math import log
from logging import log as logger   # logging的log现在变成了logger
print log(10)   # 调用的是math的log
logger(10, 'import from logging')   # 调用的是logging的log

动态导入模块

如果导入的模块不存在，Python解释器会报 ImportError 错误：

>>> import somethingTraceback (most recent call last):  File "<stdin>", line 1, in <module>ImportError: No module named something

有的时候，两个不同的模块提供了相同的功能，比如 StringIO 和 cStringIO 都提供了StringIO这个功能。

这是因为Python是动态语言，解释执行，因此Python代码运行速度慢。

如果要提高Python代码的运行速度，最简单的方法是把某些关键函数用 C 语言重写，这样就能大大提高执行速度。

同样的功能，StringIO 是纯Python代码编写的，而 cStringIO 部分函数是 C 写的，因此 cStringIO 运行速度更快。

利用ImportError错误，我们经常在Python中动态导入模块：

try:    from cStringIO import StringIOexcept ImportError:    from StringIO import StringIO

上述代码先尝试从cStringIO导入，如果失败了（比如cStringIO没有被安装），再尝试从StringIO导入。这样，如果cStringIO模块存在，则我们将获得更快的运行速度，如果cStringIO不存在，则顶多代码运行速度会变慢，但不会影响代码的正常执行。

try 的作用是捕获错误，并在捕获到指定错误时执行 except 语句。

任务

利用import ... as ...，还可以动态导入不同名称的模块。

Python 2.6/2.7提供了json 模块，但Python 2.5以及更早版本没有json模块，不过可以安装一个simplejson模块，这两个模块提供的函数签名和功能都一模一样。

试写出导入json 模块的代码，能在Python 2.5/2.6/2.7都正常运行。 

try:

    import json

except ImportError:

    import simplejson as json

print json.dumps({'python':2.7})

使用__future__

Python的新版本会引入新的功能，但是，实际上这些功能在上一个老版本中就已经存在了。要“试用”某一新的特性，就可以通过导入__future__模块的某些功能来实现。

例如，Python 2.7的整数除法运算结果仍是整数：

>>> 10 / 33

但是，Python 3.x已经改进了整数的除法运算，“/”除将得到浮点数，“//”除才仍是整数：

>>> 10 / 33.3333333333333335>>> 10 // 33

要在Python 2.7中引入3.x的除法规则，导入__future__的division：

>>> from __future__ import division>>> print 10 / 33.3333333333333335

当新版本的一个特性与旧版本不兼容时，该特性将会在旧版本中添加到__future__中，以便旧的代码能在旧版本中测试新特性。

python提供的模块管理功能 -easy_install, -pip 

面向对象编程的基本思想：类和实例 

面向对象编程：数据封装 

定义类并创建实例

在Python中，类通过 class 关键字定义。以 Person 为例，定义一个Person类如下：

class Person(object):    pass

按照 Python 的编程习惯，类名以大写字母开头，紧接着是(object)，表示该类是从哪个类继承下来的。类的继承将在后面的章节讲解，现在我们只需要简单地从object类继承。

有了Person类的定义，就可以创建出具体的xiaoming、xiaohong等实例。创建实例使用 类名+()，类似函数调用的形式创建：

xiaoming = Person()
xiaohong = Person()

class Person(object):    passp1 = Person()p1.name = 'Bart'p2 = Person()p2.name = 'Adam'p3 = Person()p3.name = 'Lisa'L1 = [p1, p2, p3]L2 = sorted(L1,key=lambda x:x.name)print L2[0].nameprint L2[1].nameprint L2[2].name 

初始化实例属性

虽然我们可以自由地给一个实例绑定各种属性，但是，现实世界中，一种类型的实例应该拥有相同名字的属性。例如，Person类应该在创建的时候就拥有 name、gender 和 birth 属性，怎么办？

在定义 Person 类时，可以为Person类添加一个特殊的__init__()方法，当创建实例时，__init__()方法被自动调用，我们就能在此为每个实例都统一加上以下属性：

class Person(object):    def __init__(self, name, gender, birth):        self.name = name        self.gender = gender        self.birth = birth

__init__() 方法的第一个参数必须是 self（也可以用别的名字，但建议使用习惯用法），后续参数则可以自由指定，和定义函数没有任何区别。

相应地，创建实例时，就必须要提供除 self 以外的参数：

xiaoming = Person('Xiao Ming', 'Male', '1991-1-1')xiaohong = Person('Xiao Hong', 'Female', '1992-2-2')

有了__init__()方法，每个Person实例在创建时，都会有 name、gender 和 birth 这3个属性，并且，被赋予不同的属性值，访问属性使用.操作符：

print xiaoming.name# 输出 'Xiao Ming'print xiaohong.birth# 输出 '1992-2-2'

要特别注意的是，初学者定义__init__()方法常常忘记了 self 参数：

>>> class Person(object):...     def __init__(name, gender, birth):...         pass... >>> xiaoming = Person('Xiao Ming', 'Male', '1990-1-1')Traceback (most recent call last):  File "<stdin>", line 1, in <module>TypeError: __init__() takes exactly 3 arguments (4 given)

这会导致创建失败或运行不正常，因为第一个参数name被Python解释器传入了实例的引用，从而导致整个方法的调用参数位置全部没有对上。

要定义关键字参数，使用 **kw；

除了可以直接使用self.name = 'xxx'设置一个属性外，还可以通过 setattr(self, 'name', 'xxx') 设置属性。

class Person(object):

    def __init__(self, name, gender, birth, **kw):

        self.name = name

        self.gender = gender

        self.birth = birth

        for k,v in kw.iteritems():

            setattr(self,k,v)

xiaoming = Person('Xiao Ming', 'Male', '1990-1-1', job='Student')

print xiaoming.name

访问限制

我们可以给一个实例绑定很多属性，如果有些属性不希望被外部访问到怎么办？

Python对属性权限的控制是通过属性名来实现的，如果一个属性由双下划线开头(__)，该属性就无法被外部访问。看例子：

class Person(object):    def __init__(self, name):        self.name = name        self._title = 'Mr'        self.__job = 'Student'p = Person('Bob')print p.name# => Bobprint p._title# => Mrprint p.__job# => ErrorTraceback (most recent call last):  File "<stdin>", line 1, in <module>AttributeError: 'Person' object has no attribute '__job'

可见，只有以双下划线开头的"__job"不能直接被外部访问。

但是，如果一个属性以"__xxx__"的形式定义，那它又可以被外部访问了，以"__xxx__"定义的属性在Python的类中被称为特殊属性，有很多预定义的特殊属性可以使用，通常我们不要把普通属性用"__xxx__"定义。

以单下划线开头的属性"_xxx"虽然也可以被外部访问，但是，按照习惯，他们不应该被外部访问。

class Person(object):

    count = 0

    def __init__(self,name):

        self.name = name

        Person.count = Person.count + 1

p1 = Person('Bob')

print Person.count

p2 = Person('Alice')

print Person.count

p3 = Person('Tim')

print Person.count

方法也是属性

我们在 class 中定义的实例方法其实也是属性，它实际上是一个函数对象：

class Person(object):    def __init__(self, name, score):        self.name = name        self.score = score    def get_grade(self):        return 'A'p1 = Person('Bob', 90)print p1.get_grade# => <bound method Person.get_grade of <__main__.Person object at 0x109e58510>>print p1.get_grade()# => A

也就是说，p1.get_grade 返回的是一个函数对象，但这个函数是一个绑定到实例的函数，p1.get_grade() 才是方法调用。

定义类方法

和属性类似，方法也分实例方法和类方法。

在class中定义的全部是实例方法，实例方法第一个参数 self 是实例本身。

要在class中定义类方法，需要这么写：

class Person(object):    count = 0    @classmethod    def how_many(cls):        return cls.count    def __init__(self, name):        self.name = name        Person.count = Person.count + 1print Person.how_many()p1 = Person('Bob')print Person.how_many()

通过标记一个 @classmethod，该方法将绑定到 Person 类上，而非类的实例。类方法的第一个参数将传入类本身，通常将参数名命名为 cls，上面的 cls.count 实际上相当于 Person.count。

因为是在类上调用，而非实例上调用，因此类方法无法获得任何实例变量，只能获得类的引用。

class Person(object):

    __count = 0

    def __init__(self, name):

        self.name = name

        Person.__count = Person.__count + 1

    @classmethod

    def how_many(cls):

        return cls.__count

print Person.how_many()

p1 = Person('Bob')

print Person.how_many()

python的继承：总是从某个类继承，不要忘记调用super().__init__

def __init__(self, args):

     super(SubClass, self).__init__(args)

     pass

继承一个类

如果已经定义了Person类，需要定义新的Student和Teacher类时，可以直接从Person类继承：

class Person(object):    def __init__(self, name, gender):        self.name = name        self.gender = gender

定义Student类时，只需要把额外的属性加上，例如score：

class Student(Person):    def __init__(self, name, gender, score):        super(Student, self).__init__(name, gender)        self.score = score

一定要用 super(Student, self).__init__(name, gender) 去初始化父类，否则，继承自 Person 的 Student 将没有 name 和 gender。

函数super(Student, self)将返回当前类继承的父类，即 Person ，然后调用__init__()方法，注意self参数已在super()中传入，在__init__()中将隐式传递，不需要写出（也不能写）。

判断类型

函数isinstance()可以判断一个变量的类型，既可以用在Python内置的数据类型如str、list、dict，也可以用在我们自定义的类，它们本质上都是数据类型。

假设有如下的 Person、Student 和 Teacher 的定义及继承关系如下：

class Person(object):    def __init__(self, name, gender):        self.name = name        self.gender = genderclass Student(Person):    def __init__(self, name, gender, score):        super(Student, self).__init__(name, gender)        self.score = scoreclass Teacher(Person):    def __init__(self, name, gender, course):        super(Teacher, self).__init__(name, gender)        self.course = coursep = Person('Tim', 'Male')s = Student('Bob', 'Male', 88)t = Teacher('Alice', 'Female', 'English')

当我们拿到变量 p、s、t 时，可以使用 isinstance 判断类型：

>>> isinstance(p, Person)True    # p是Person类型>>> isinstance(p, Student)False   # p不是Student类型>>> isinstance(p, Teacher)False   # p不是Teacher类型

这说明在继承链上，一个父类的实例不能是子类类型，因为子类比父类多了一些属性和方法。

我们再考察 s ：

>>> isinstance(s, Person)True    # s是Person类型>>> isinstance(s, Student)True    # s是Student类型>>> isinstance(s, Teacher)False   # s不是Teacher类型

s 是Student类型，不是Teacher类型，这很容易理解。但是，s 也是Person类型，因为Student继承自Person，虽然它比Person多了一些属性和方法，但是，把 s 看成Person的实例也是可以的。

这说明在一条继承链上，一个实例可以看成它本身的类型，也可以看成它父类的类型。

多态

类具有继承关系，并且子类类型可以向上转型看做父类类型，如果我们从 Person 派生出 Student和Teacher ，并都写了一个 whoAmI() 方法：

class Person(object):    def __init__(self, name, gender):        self.name = name        self.gender = gender    def whoAmI(self):        return 'I am a Person, my name is %s' % self.nameclass Student(Person):    def __init__(self, name, gender, score):        super(Student, self).__init__(name, gender)        self.score = score    def whoAmI(self):        return 'I am a Student, my name is %s' % self.nameclass Teacher(Person):    def __init__(self, name, gender, course):        super(Teacher, self).__init__(name, gender)        self.course = course    def whoAmI(self):        return 'I am a Teacher, my name is %s' % self.name

在一个函数中，如果我们接收一个变量 x，则无论该 x 是 Person、Student还是 Teacher，都可以正确打印出结果：

def who_am_i(x):    print x.whoAmI()p = Person('Tim', 'Male')s = Student('Bob', 'Male', 88)t = Teacher('Alice', 'Female', 'English')who_am_i(p)who_am_i(s)who_am_i(t)

运行结果：

I am a Person, my name is TimI am a Student, my name is BobI am a Teacher, my name is Alice

这种行为称为多态。也就是说，方法调用将作用在 x 的实际类型上。s 是Student类型，它实际上拥有自己的 whoAmI()方法以及从 Person继承的 whoAmI方法，但调用 s.whoAmI()总是先查找它自身的定义，如果没有定义，则顺着继承链向上查找，直到在某个父类中找到为止。

由于Python是动态语言，所以，传递给函数 who_am_i(x)的参数 x不一定是 Person 或 Person 的子类型。任何数据类型的实例都可以，只要它有一个whoAmI()的方法即可：

class Book(object):    def whoAmI(self):        return 'I am a book'

这是动态语言和静态语言（例如Java）最大的差别之一。动态语言调用实例方法，不检查类型，只要方法存在，参数正确，就可以调用。

ython提供了open()函数来打开一个磁盘文件，并返回 File 对象。File对象有一个read()方法可以读取文件内容：

例如，从文件读取内容并解析为JSON结果：

import jsonf = open('/path/to/file.json', 'r')print json.load(f)

由于Python的动态特性，json.load()并不一定要从一个File对象读取内容。任何对象，只要有read()方法，就称为File-like Object，都可以传给json.load()。

多重继承

除了从一个父类继承外，Python允许从多个父类继承，称为多重继承。

多重继承的继承链就不是一棵树了，它像这样：

class A(object):    def __init__(self, a):        print 'init A...'        self.a = aclass B(A):    def __init__(self, a):        super(B, self).__init__(a)        print 'init B...'class C(A):    def __init__(self, a):        super(C, self).__init__(a)        print 'init C...'class D(B, C):    def __init__(self, a):        super(D, self).__init__(a)        print 'init D...'

像这样，D 同时继承自 B 和 C，也就是 D 拥有了 A、B、C的全部功能。多重继承通过 super()调用__init__()方法时，A 虽然被继承了两次，但__init__()只调用一次：

>>> d = D('d')init A...init C...init B...init D...

多重继承的目的是从两种继承树中分别选择并继承出子类，以便组合功能使用。

举个例子，Python的网络服务器有TCPServer、UDPServer、UnixStreamServer、UnixDatagramServer，而服务器运行模式有 多进程ForkingMixin 和 多线程ThreadingMixin两种。

要创建多进程模式的 TCPServer：

class MyTCPServer(TCPServer, ForkingMixin)    pass

要创建多线程模式的 UDPServer：

class MyUDPServer(UDPServer, ThreadingMixin):    pass

如果没有多重继承，要实现上述所有可能的组合需要 4x2=8 个子类。

正确的写法：

class C(A, B)

def __init__(self, a, b):

A.__init__(self, a)

B.__init__(self, b)

class Person(object):

    def __init__(self, name, gender, **kw):

        self.name = name

        self.gender = gender

        for k,w in kw.iteritems():

            setattr(self,k,w)

p = Person('Bob', 'Male', age=18, course='Python')

print p.age

print p.course

python特殊方法

任何数据类型的实例都有__str__()这样一个方法 

__str__和__repr__

如果要把一个类的实例变成 str，就需要实现特殊方法__str__()：

class Person(object):    def __init__(self, name, gender):        self.name = name        self.gender = gender    def __str__(self):        return '(Person: %s, %s)' % (self.name, self.gender)

现在，在交互式命令行下用 print 试试：

>>> p = Person('Bob', 'male')>>> print p(Person: Bob, male)

但是，如果直接敲变量 p：

>>> p<main.Person object at 0x10c941890>

似乎__str__() 不会被调用。

因为 Python 定义了__str__()和__repr__()两种方法，__str__()用于显示给用户，而__repr__()用于显示给开发人员。

有一个偷懒的定义__repr__的方法：

class Person(object):
    def __init__(self, name, gender):
        self.name = name
        self.gender = gender
    def __str__(self):
        return '(Person: %s, %s)' % (self.name, self.gender)
    __repr__ = __str__

__cmp__

对 int、str 等内置数据类型排序时，Python的 sorted() 按照默认的比较函数 cmp 排序，但是，如果对一组 Student 类的实例排序时，就必须提供我们自己的特殊方法 __cmp__()：

class Student(object):    def __init__(self, name, score):        self.name = name        self.score = score    def __str__(self):        return '(%s: %s)' % (self.name, self.score)    __repr__ = __str__    def __cmp__(self, s):        if self.name < s.name:            return -1        elif self.name > s.name:            return 1        else:            return 0

上述 Student 类实现了__cmp__()方法，__cmp__用实例自身self和传入的实例 s 进行比较，如果 self 应该排在前面，就返回 -1，如果 s 应该排在前面，就返回1，如果两者相当，返回 0。

Student类实现了按name进行排序：

>>> L = [Student('Tim', 99), Student('Bob', 88), Student('Alice', 77)]>>> print sorted(L)[(Alice: 77), (Bob: 88), (Tim: 99)]

注意: 如果list不仅仅包含 Student 类，则 __cmp__ 可能会报错：

L = [Student('Tim', 99), Student('Bob', 88), 100, 'Hello']print sorted(L)

class Student(object):

    def __init__(self, name, score):

        self.name = name

        self.score = score

    def __str__(self):

        return '(%s: %s)' % (self.name, self.score)

    __repr__ = __str__

    def __cmp__(self, s):

        if self.score > s.score:

            return -1

        elif self.score < s.score:

            return 1

        elif self.name > s.name:

            return 1

        elif self.name < s.name:

            return -1

        else:

            return 0

L = [Student('Tim', 99), Student('Bob', 88), Student('Alice', 99)]

print sorted(L)

class Student(object):
    def __init__(self, name, score):
        self.name = name
        self.score = score

    def __str__(self):
        return '(%s: %s)' % (self.name, self.score)

    __repr__ = __str__

    def __cmp__(self, s):
        if self.score == s.score:
            return cmp(self.name, s.name)
        return -cmp(self.score, s.score)

L = [Student('Tim', 99), Student('Bob', 88), Student('Alice', 99)]
print sorted(L)

class Fib(object):

    def __init__(self, num):

        a, b, L = 0, 1, []

        for n in range(num):

            L.append(a)

            a, b = b, a + b

        self.numbers = L

    def __str__(self):

        return str(self.numbers)

    __repr__ = __str__

    def __len__(self):

        return len(self.numbers)

f = Fib(10)

print f

print len(f)

gcd() #TBD

class Fib(object):

    def __call__(self, num):

        a, b, L = 0, 1, []

        for n in range(num):

            L.append(a)

            a, b = b, a + b

        return L

f = Fib()

print f(10)

Next step: IO: 文件和Socket; 多任务: 进程和线程; 数据库 Web开发

Ref: imooc 廖雪峰python进阶篇教程