Python中的迭代器漫談

更新時(shí)間：2015年02月03日 11:14:41 作者：Hito''s Blog

這篇文章主要介紹了Python中的迭代器漫談,本文主要講解range函數(shù)和xrange函數(shù)性能區(qū)別,需要的朋友可以參考下

問(wèn)題是在Python中進(jìn)行循環(huán)的時(shí)候產(chǎn)生的，熟悉Python的都知道，它沒(méi)有類似其它語(yǔ)言中的for循環(huán), 只能通過(guò)for in的方式進(jìn)行循環(huán)遍歷。最典型的應(yīng)用就是通過(guò)range函數(shù)產(chǎn)生一個(gè)列表，然后用for in進(jìn)行操作，如下:

復(fù)制代碼代碼如下:

#!/usr/bin/env python

for i in range(10):

    print i

代碼的意義很好理解，range會(huì)產(chǎn)生一個(gè)列表，用for in最這個(gè)列表進(jìn)行遍歷，就有和類似for(i = 0;i<n;i++)同樣的效果，range函數(shù)的詳解可以看這里。問(wèn)題又來(lái)了，range這個(gè)對(duì)象會(huì)產(chǎn)生一個(gè)列表，那么這個(gè)列表的內(nèi)容鐵定是存放在內(nèi)存當(dāng)中的，當(dāng)需要的循環(huán)數(shù)量太大時(shí)，是相當(dāng)占用內(nèi)存的, 為了統(tǒng)計(jì)使用range占用內(nèi)存的情況，我做了6次使用，分別用range產(chǎn)生100，10000，100000，1000000，10000000,100000000長(zhǎng)度的列表，然后統(tǒng)計(jì)內(nèi)存的占用:

復(fù)制代碼代碼如下:

測(cè)試代碼 占用內(nèi)存

range(100) 2.0MB

range(10000) 2.2MB

range(100000) 3.8MB

range(1000000) 19.5MB

range(10000000) 168.5MB

range(100000000) 1465.8MB

可以看到，隨著基數(shù)的加大，占用內(nèi)存呈幾何倍數(shù)增加，顯然在進(jìn)行大循環(huán)操作的時(shí)候，要避免使用range。

為了解決上述問(wèn)題，python提供了另外一個(gè)函數(shù)xrange，這個(gè)函數(shù)和range非常相似，但是占用內(nèi)存比range會(huì)小很多，相關(guān)的說(shuō)明可以查看這里，經(jīng)過(guò)測(cè)試，用xrange產(chǎn)生的對(duì)象，不管參數(shù)是多少，占用內(nèi)存幾乎都沒(méi)有變化。問(wèn)題又來(lái)了，xrange內(nèi)部是如何實(shí)現(xiàn)的，為什么和range性能相差這么大？為了驗(yàn)證我的猜想，先嘗試用python實(shí)現(xiàn)類似xrange的函數(shù)zrange:

復(fù)制代碼代碼如下:

#!/usr/bin/env python

class zrange(object):

    def __init__(self,stop):

        self.__pointer=0

        self.stop=stop

    def __iter__(self):  

        return self  

    def next(self): #python3.0中，改用__next__

        if self.__pointer  >= self.stop:

            raise StopIteration

        else:

            self.__pointer = self.__pointer + 1

            return self.__pointer-1

test = zrange(10000000)

for i in test:

    print i

運(yùn)行的結(jié)果和xrange一樣, 對(duì)zrange進(jìn)行內(nèi)存占用測(cè)試，發(fā)現(xiàn)和xrange一樣，參數(shù)的大小對(duì)內(nèi)存占用幾乎沒(méi)有影響。那么它和range的區(qū)別在哪里呢？

前面說(shuō)到，range產(chǎn)生的是一個(gè)列表，而無(wú)論是自定義的zrange還是系統(tǒng)內(nèi)置的xrange產(chǎn)生的都是一個(gè)對(duì)象，像xrange或者zrange產(chǎn)生的對(duì)象，就叫做可迭代對(duì)象, 它給外部提供了一種遍歷其內(nèi)部元素，而不用關(guān)心其內(nèi)部實(shí)現(xiàn)的方法。上面zrange的實(shí)現(xiàn)中, 最關(guān)鍵的實(shí)現(xiàn)是建立了一個(gè)內(nèi)部指針__pointer, 它記錄當(dāng)前的訪問(wèn)的位置, 下次的訪問(wèn)就可以通過(guò)指針的狀態(tài)進(jìn)行相應(yīng)的操作。

Python或者其它語(yǔ)言中，還有很多類似通過(guò)迭代的方式訪問(wèn)對(duì)象內(nèi)容的，如讀取一個(gè)文件中的內(nèi)容:

復(fù)制代碼代碼如下:

#!/usr/bin/env python

f = open('zrange.py','r')

while True:

    line = f.readline()

    if not line:

        break

    print line.strip()

f.close()

大家都知道用readline要比reandlines節(jié)省資源，其實(shí)readline和readlines就類似于xrange和range，一個(gè)是通過(guò)指針記錄當(dāng)前位置，下次訪問(wèn)把指針往前移動(dòng)一個(gè)單位，另外一個(gè)是直接把所有內(nèi)容存放到內(nèi)存當(dāng)中。文件操作函數(shù)中，還可以通過(guò)seek手動(dòng)的調(diào)整指針的位置，從而達(dá)到跳過(guò)或者重復(fù)讀取某些內(nèi)容的目的。

可以說(shuō)，迭代器的實(shí)現(xiàn)中，其內(nèi)部指針是節(jié)省資源，讓迭代正常運(yùn)行的關(guān)鍵。

您可能感興趣的文章: