前言

Python生成器(generator)并不是一個(gè)晦澀難懂的概念。相比于MetaClass和Closure等概念，其較為容易理解和掌握。但相對(duì)于程序結(jié)構(gòu)：順序、循環(huán)和分支而言其又不是特別的直觀。無(wú)論學(xué)習(xí)任何的東西，概念都是非常重要的。正確樹立并掌握一些基礎(chǔ)的概念是靈活和合理運(yùn)用的前提，本文將以一種通俗易懂的方式介紹一下generator和yield表達(dá)式。

1. Iterator與Iterable

首先明白兩點(diǎn)：

• Iterator(迭代器)是可迭代對(duì)象;
• 可迭代對(duì)象并不一定是Iterator;

比較常見的數(shù)據(jù)類型list、tuple、dict等都是可迭代的，屬于collections.Iterable類型；

迭代器不僅可迭代還可以被內(nèi)置函數(shù)next調(diào)用，屬于collections.Iterator類型；

迭代器是特殊的可迭代對(duì)象，是可迭代對(duì)象的一個(gè)子集。

將要介紹的gererator(生成器)是types.GeneratorType類型，也是collections.Iterator類型。

也就是說(shuō)生成器是迭代器，可被next調(diào)用，也可迭代。

三者的包含關(guān)系：（可迭代（迭代器（生成器）））

• 迭代器：可用next()函數(shù)訪問(wèn)的對(duì)象；
• 生成器：生成器表達(dá)式和生成器函數(shù)；

2. Python生成器

python有兩種類型的生成器：生成器表達(dá)式和生成器函數(shù)。

由于生成器可迭代并且是iterator，因此可以通過(guò)for和next進(jìn)行遍歷。

2.1 生成器表達(dá)式

把列表生成式的[]改成()便得到生成器表達(dá)式。

>>> gen = (i + i for i in xrange(10))
>>> gen
<generator object <genexpr> at 0x0000000003A2DAB0>
>>> type(gen)
<type 'generator'>
>>> isinstance(gen, types.GeneratorType) and isinstance(gen, collections.Iterator) and isinstance(gen, collections.Iterable)
True
>>>

2.2 生成器函數(shù)

python函數(shù)定義中有關(guān)鍵字yield，該函數(shù)便是一個(gè)生成器函數(shù)，函數(shù)調(diào)用返回的是一個(gè)generator.

def yield_func():
  for i in xrange(3):
    yield i
gen_func = yield_func()
for yield_val in gen_func:
  print yield_val

生成器函數(shù)每次執(zhí)行到y(tǒng)ield便會(huì)返回，但與普通函數(shù)不同的是yield返回時(shí)會(huì)保留當(dāng)前函數(shù)的執(zhí)行狀態(tài)，再次被調(diào)用時(shí)可以從中斷的地方繼續(xù)執(zhí)行。

2.3 next與send

通過(guò)for和next可以遍歷生成器，而send則可以用于向生成器函數(shù)發(fā)送消息。

def yield_func():
  for i in xrange(1, 3):
    x = yield i
    print 'yield_func',x
gen_func = yield_func()
print 'iter result: %d' % next(gen_func)
print 'iter result: %d' % gen_func.send(100)

結(jié)果：

iter result: 1
yield_func 100
iter result: 2

簡(jiǎn)單分析一下執(zhí)行過(guò)程：

• line_no 5 調(diào)用生成器函數(shù)yield_func得到函數(shù)生成器gen_func；
• line_no 6 使用next調(diào)用gen_func，此時(shí)才真正的開始執(zhí)行yield_func定義的代碼；
• line_no 3 執(zhí)行到y(tǒng)ield i，函數(shù)yield_func暫停執(zhí)行并返回當(dāng)前i的值1.
• line_no 6 next(gen_func)得到函數(shù)yield_func執(zhí)行到y(tǒng)ield i返回的值1，輸出結(jié)果iter result: 1；
• line_no 7 執(zhí)行g(shù)en_func.send(100);
• line_no 3 函數(shù)yield_func繼續(xù)執(zhí)行，并將調(diào)用者send的值100賦值給x;
• line_no 4 輸出調(diào)用者send接收到的值；
• line_no 3 執(zhí)行到y(tǒng)ield i，函數(shù)yield_func暫停執(zhí)行并返回當(dāng)前i的值2.
• line_no 7 執(zhí)行g(shù)en_func.send(100)得到函數(shù)yield_func運(yùn)行到y(tǒng)ield i返回的值2，輸出結(jié)果iter result: 2；

如果在上面代碼后面再加一行：

print 'iter result: %d' % next(gen_func)

結(jié)果：

iter result: 1
yield_func 100
iter result: 2
yield_func None
File "G:\Cnblogs\Alpha Panda\Main.py", line 22, in <module>
  print 'iter result: %d' % next(gen_func)
StopIteration

yield_func只會(huì)產(chǎn)生2個(gè)yield，但是我們迭代調(diào)用了3次，會(huì)拋出異常StopIteration。

next和send均會(huì)觸發(fā)生成器函數(shù)的執(zhí)行，使用for遍歷生成器函數(shù)時(shí)不要用send。原因后面解釋。

2.4 生成器返回值

使用了yield的函數(shù)嚴(yán)格來(lái)講已經(jīng)不是一個(gè)函數(shù)，而是一個(gè)生成器。因此函數(shù)中yield和return是不能同時(shí)出現(xiàn)的。

SyntaxError: 'return' with argument inside generator

生成器只能通過(guò)yield將每次調(diào)用的結(jié)果返回給調(diào)用者。

2.5 可迭代對(duì)象轉(zhuǎn)成迭代器

list、tuple、dict等可迭代但不是迭代器的對(duì)象可通過(guò)內(nèi)置函數(shù)iter轉(zhuǎn)化為iterator，便可以通過(guò)next進(jìn)行遍歷；

這樣的好處是可以統(tǒng)一使用next遍歷所有的可迭代對(duì)象；

tup = (1,2,3)
for ele in tup:
  print ele + ele

上面的代碼等價(jià)于：

tup_iterator = iter(tup)while True:
  try:
    ele = next(tup_iterator)
  except StopIteration:
    break
  print ele + ele

for循環(huán)使用next遍歷一個(gè)迭代器，混合使用send可能會(huì)導(dǎo)致混亂的遍歷流程。

其實(shí)到這里生成器相關(guān)的概念基本已經(jīng)介紹完成了，自己動(dòng)手過(guò)一遍應(yīng)該能弄明白了。為了更加深刻的體會(huì)生成器，下面我們?cè)谕白咭徊健?/p>

3. range與xrange

在Python 2中這兩個(gè)比較常用，看一下兩者的區(qū)別：

• range為一個(gè)內(nèi)置函數(shù)，xrange是一個(gè)類；
• 前者返回一個(gè)list，后者返回一個(gè)可迭代對(duì)象；
• 后者遍歷操作快于前者，且占用更少內(nèi)存；

這里xrange有點(diǎn)類似于上面介紹的生成器表達(dá)式，雖然xrange返回的并不是生成器，但兩者均返回并不包含全部結(jié)果可迭代對(duì)象。

3.1 自定義xrange的Iterator版本

作為一個(gè)iterator:

The iterator objects themselves are required to support the following two methods, which together form the iterator protocol:

iterator.__iter__()
Return the iterator object itself. This is required to allow both containers and iterators to be used with the for and in statements. This method corresponds to the tp_iter slot of the type structure for Python objects in the Python/C API.

iterator.next()
Return the next item from the container. If there are no further items, raise the StopIteration exception. This method corresponds to the tp_iternext slot of the type structure for Python objects in the Python/C API.

下面我們自定義class my_xrange:

class my_xrange(object):
  def __init__(self, start, stop = None, step = 1):
    """ 僅僅為了演示，假設(shè)start, stop 和 step 均為正整數(shù) """
    self._start = 0 if stop is None else start
    self._stop = start if stop is None else stop
    self._step = step
    self._cur_val = self._start

  def __iter__(self):
    return self
  def next(self):
    if self._start <= self._cur_val < self._stop:
      cur_val = self._cur_val
      self._cur_val += self._step
      return cur_val
    raise StopIteration

測(cè)試結(jié)果：

import collections
myxrange = my_xrange(0, 10, 3)
res = []
for val in myxrange:
  res.append(val)
print res == range(0, 10, 3)　　　# True
print isinstance(myxrange, collections.Iterator)　　# Trueprint isinstance(myxrange, types.GeneratorType)　　# False

3.2 使用函數(shù)生成器

下面使用函數(shù)生成器定義一個(gè)generator版的xrange。

def xrange_func(start, stop, step = 1):
  """ 僅僅為了演示，假設(shè)start, stop 和 step 均為正整數(shù) """
  cur_val = start
  while start <= cur_val and cur_val < stop:
    yield cur_val
    cur_val += step

isinstance(myxrange, collections.Iterator) and isinstance(myxrange, types.GeneratorType) is True

上面兩個(gè)自定義xrange版本的例子，均說(shuō)明生成器以及迭代器保留數(shù)列生成過(guò)程的狀態(tài)，每次只計(jì)算一個(gè)值并返回。這樣只要占用很少的內(nèi)存即可表示一個(gè)很大的序列。

4. 應(yīng)用

不管是迭代器還是生成器，對(duì)于有大量有規(guī)律的數(shù)據(jù)產(chǎn)生并需要遍歷訪問(wèn)的情景均適用，占用內(nèi)存少而且遍歷的速度快。其中一個(gè)較為經(jīng)典的應(yīng)用為斐波那契數(shù)列(Fibonacci sequence)。

這里以os.walk遍歷目錄為例來(lái)說(shuō)明yield的應(yīng)用。如果我們需要遍歷一個(gè)根目錄下的所有文件并根據(jù)需要進(jìn)行增刪改查?？赡軙?huì)遇到下列的問(wèn)題：

預(yù)先遍歷且緩存結(jié)果，但是目錄下文件可能很多，而且會(huì)動(dòng)態(tài)改變；如果不緩存，多個(gè)地方可能會(huì)頻繁的需要訪問(wèn)這一結(jié)果導(dǎo)致效率低下。

這時(shí)候可以使用yield定義一個(gè)生成器函數(shù)。

def get_all_dir_files(target_dir):
  for root, dirs, files in os.walk(target_dir):
    for file in files:
      file_path = os.path.join(root, file)
      yield os.path.realpath(file_path)
def file_factory(file):
  """ do something """
target_dir = './'
all_files = get_all_dir_files(target_dir)
for file in all_files:
  file_factory(file)

限于篇幅，就先介紹到這里，希望本文能讓你對(duì)生成器有一個(gè)新的認(rèn)識(shí)。

,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值