Python iterable, iter(), __iter__, iterator, itertools

简述

迭代器是在版本2.2被加入到Python的，它为类序列对象提供了一个类序列的接口。Python的迭代无缝地支持序列对象，而且它还允许迭代非序列类型，包括用户定义的对象。
迭代器用起来很灵巧，可以迭代不是序列但表现出序列行为的对象，例如字典的键、一个文件的行等等。使用循环迭代一个对象条目时，几乎分辨不出它是迭代器还是序列。开发者不必关注这些，因为Python让它像一个序列那样操作。

迭代器的作用

• 提供了刻扩展的迭代器接口；
• 对列表迭代带来了性能上的增强；
• 在字典迭代中性能提升；
• 创建真正的迭代接口，而不是原来的随即对象访问；
• 与所有已经存在的用户定义的类以及扩展得模拟序列和映射的对象向后兼容；
• 迭代非序列集合（例如映射和文件）时，可以创建更简洁可读的代码。

示例

>>> a = [122, 221, 333]>>> b = iter(a)>>> b.next()122>>> b.next()221>>> b.next()333>>> b.next() # 迭代到末尾时触发 StopIteration 异常Traceback (most recent call last):  File "", line 1, in ?StopIteration

iterable 与 iterator

在Python里iterable被认为是一类对象，这类对象能够一次返回它的一个成员（也就是元素）。抽象一点就是适合迭代的对象。实际上，任何具有iter()或getitem()方法的对象，Python就认为它是一个iterable。
Python里有大量内置的iterable类型，如： list，str，tuple，dict，file，xrange等。使用内置的iter()函数来生成iterator。即:
iter(iterable) -> iterator object

iterator（迭代器）存在于众多面向对象的程序设计语言中，它是一种经典的设计模式。迭代器模式提供一种访问有序访问聚合对象里元素的方法。具体到Python语言里，iterator对象就是且必须实现了迭代协议（iterator protocol）的对象。Python里的iterator实现了两个方法：

__iter__()    # 返回迭代器本身__next__()

深入 iterable 与 __iter__

迭代器以类的方式实现，如下是一个类似内置xrange()方法的迭代器。

 class yrange:    def __init__(self, n):        self.i = 0        self.n = n    def __iter__(self):        return self    def next(self):        if self.i < self.n:            i = self.i            self.i += 1            return i        else:            raise StopIteration()

其中 __iter__ 方法使对象可迭代，iter() 调用了给定对象的 __iter__ 方法，__iter__ 的返回值则是个迭代器。

>>> y = yrange(3)>>> y.next()0>>> y.next()1>>> y.next()2>>> y.next()Traceback (most recent call last):  File "<stdin>", line 1, in <module>  File "<stdin>", line 14, in nextStopIteration

很多内置的其它方法都支持迭代器，比如：

>>> list(yrange(5))[0, 1, 2, 3, 4]>>> sum(yrange(5))10

上面的例子中，iterable（可迭代对象）和iterator（迭代器）是同一个对象，因为 __iter__ 方法返回了它本身。但不一定一直如此，如下示例：

class zrange:    def __init__(self, n):        self.n = n    def __iter__(self):        return zrange_iter(self.n)class zrange_iter:    def __init__(self, n):        self.i = 0        self.n = n    def __iter__(self):        # Iterators are iterables too.        # Adding this functions to make them so.        return self    def next(self):        if self.i < self.n:            i = self.i            self.i += 1            return i        else:            raise StopIteration()

如果迭代对象和迭代器本身是同一个对象，那么在一次迭代过程中会被消耗掉。

>>> y = yrange(5)>>> list(y)[0, 1, 2, 3, 4]>>> list(y)[]>>> z = zrange(5)>>> list(z)[0, 1, 2, 3, 4]>>> list(z)[0, 1, 2, 3, 4]

itertools

itertools 是一个高效创建迭代器的方法库，主要方法如下：
无限迭代器：

Iterator Arguments Results Example count() start, [step] start, start+step, start+2*step, … count(10) –> 10 11 12 13 14 … cycle() p p0, p1, … plast, p0, p1, … cycle(‘ABCD’) –> A B C D A B C D … repeat() elem [,n] elem, elem, elem, … endlessly or up to n times repeat(10, 3) –> 10 10 10

在最短输入序列终止的迭代器：

Iterator Arguments Results Example chain() p, q, … p0, p1, … plast, q0, q1, … chain(‘ABC’, ‘DEF’) –> A B C D E F compress() data, selectors (d[0] if s[0]), (d[1] if s[1]), … compress(‘ABCDEF’, [1,0,1,0,1,1]) –> A C E F dropwhile() pred, seq seq[n], seq[n+1], starting when pred fails dropwhile(lambda x: x<5, [1,4,6,4,1]) –> 6 4 1 groupby() iterable[, keyfunc] sub-iterators grouped by value of keyfunc(v) ifilter() pred, seq elements of seq where pred(elem) is true ifilter(lambda x: x%2, range(10)) –> 1 3 5 7 9 ifilterfalse() pred, seq elements of seq where pred(elem) is false ifilterfalse(lambda x: x%2, range(10)) –> 0 2 4 6 8 islice() seq, [start,] stop [, step] elements from seq[start:stop:step] islice(‘ABCDEFG’, 2, None) –> C D E F G imap() func, p, q, … func(p0, q0), func(p1, q1), … imap(pow, (2,3,10), (5,2,3)) –> 32 9 1000 starmap() func, seq func(*seq[0]), func(*seq[1]), … starmap(pow, [(2,5), (3,2), (10,3)]) –> 32 9 1000 tee() it, n it1, it2, … itn splits one iterator into n takewhile() pred, seq seq[0], seq[1], until pred fails takewhile(lambda x: x<5, [1,4,6,4,1]) –> 1 4 izip() p, q, … (p[0], q[0]), (p[1], q[1]), … izip(‘ABCD’, ‘xy’) –> Ax By izip_longest() p, q, … (p[0], q[0]), (p[1], q[1]), … izip_longest(‘ABCD’, ‘xy’, fillvalue=’-‘) –> Ax By C- D-

组合生成器：

Iterator Arguments Results product() p, q, … [repeat=1] cartesian product, equivalent to a nested for-loop permutations() p[, r] r-length tuples, all possible orderings, no repeated elements combinations() p, r r-length tuples, in sorted order, no repeated elements combinations_with_replacement() p, r r-length tuples, in sorted order, with repeated elements product(‘ABCD’, repeat=2) AA AB AC AD BA BB BC BD CA CB CC CD DA DB DC DD permutations(‘ABCD’, 2) AB AC AD BA BC BD CA CB CD DA DB DC combinations(‘ABCD’, 2) AB AC AD BC BD CD combinations_with_replacement(‘ABCD’, 2) AA AB AC AD BB BC BD CC CD DD

参考

http://anandology.com/python-practice-book/iterators.html#the-iteration-protocol
http://www.cnblogs.com/Simon-xm/p/3979161.html
https://docs.python.org/2/library/itertools.html
liaoxuefeng.com : itertools