學(xué)會(huì)迭代器設(shè)計(jì)模式,幫你大幅提升python性能
大家好,我們的git專題已經(jīng)更新結(jié)束了,所以開始繼續(xù)給大家寫一點(diǎn)設(shè)計(jì)模式的內(nèi)容。
今天給大家介紹的設(shè)計(jì)模式非常簡(jiǎn)單,叫做iterator,也就是迭代器模式。迭代器是Python語(yǔ)言當(dāng)中一個(gè)非常重要的內(nèi)容,借助迭代器我們可以很方便地實(shí)現(xiàn)很多復(fù)雜的功能。在深度學(xué)習(xí)當(dāng)中,數(shù)據(jù)的獲取往往也是通過(guò)迭代器實(shí)現(xiàn)的。因此這部分的內(nèi)容非常重要,推薦大家一定要掌握。
簡(jiǎn)單案例
在開始介紹設(shè)計(jì)模式之前,我們先來(lái)看一個(gè)簡(jiǎn)單的需求。假設(shè)現(xiàn)在我們需要根據(jù)傳入的變量獲取每周的前幾天,比如說(shuō)我們傳入3返回的就是[Mon, Tue, Wed],我們傳入5返回[Mon, Tue, Wed, Thu, Fri]。這個(gè)需求大家應(yīng)該都能理解,非常非常簡(jiǎn)單。
如果用一個(gè)函數(shù)來(lái)實(shí)現(xiàn)的話,就是這樣:
def return_days(n): week = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun'] return week[:n]
你看三行代碼就實(shí)現(xiàn)了,在這個(gè)問(wèn)題場(chǎng)景當(dāng)中這樣寫當(dāng)然是沒(méi)有問(wèn)題。但假如我們把題目稍微變一變,這里的week不是一個(gè)固定的數(shù)據(jù),而是從上游或者是某個(gè)文件當(dāng)中讀取的。這里的n也是一個(gè)很大的數(shù),我們把這個(gè)函數(shù)改寫成這樣:
def get_data(n): data = [] for i in range(n): data.append(get_from_upstream()) return data
我們假設(shè)get_from_upstream這個(gè)函數(shù)當(dāng)中實(shí)現(xiàn)了獲取數(shù)據(jù)的具體邏輯,那么上面這一段函數(shù)有一個(gè)什么問(wèn)題?
有些同學(xué)會(huì)說(shuō)這沒(méi)有問(wèn)題啊,因?yàn)橄袷瞧渌Z(yǔ)言實(shí)現(xiàn)數(shù)據(jù)獲取的時(shí)候也都是這么干的。的確,像是Java等語(yǔ)言可能都是這么干的。但是其他語(yǔ)言這么干沒(méi)錯(cuò),不代表Python這么干也沒(méi)錯(cuò)。因?yàn)槲覀儧](méi)有把Python的能力發(fā)揮到最大。
這里有兩個(gè)問(wèn)題,第一個(gè)問(wèn)題是延遲,因?yàn)榍懊嬲f(shuō)了,n是一個(gè)很大的數(shù)。我們從上游獲取數(shù)據(jù),無(wú)論是通過(guò)網(wǎng)絡(luò)還是文件讀取,本質(zhì)上都是IO操作,IO操作的延遲是非常大的。那么我們把這n條數(shù)據(jù)全部搜集完可能需要很長(zhǎng)的時(shí)間,導(dǎo)致下游的漫長(zhǎng)等待。第二個(gè)問(wèn)題就是內(nèi)存,因?yàn)槲覀兇鎯?chǔ)了這n條數(shù)據(jù)一起返回的,如果n很大,對(duì)于內(nèi)存的開銷壓力也很大,如果機(jī)器內(nèi)存不夠很有可能導(dǎo)致崩潰。
那怎么解決呢?
其實(shí)解決的方法很簡(jiǎn)單,如果對(duì)迭代器熟悉的話,會(huì)發(fā)現(xiàn)迭代器針對(duì)的恰恰是這兩個(gè)問(wèn)題。我們把上面的邏輯改寫成迭代器實(shí)現(xiàn)即可,這也就是iterator模式。
iterator模式
iterator模式嚴(yán)格說(shuō)起來(lái)其實(shí)只是迭代器的一種應(yīng)用,它非常巧妙地將迭代器與匿名函數(shù)結(jié)合在一起,里面也沒(méi)有太多的門道可以說(shuō),我們把剛才的代碼改寫一下,細(xì)節(jié)都在代碼當(dāng)中。
def get_data(n): for i in range(n): yield get_from_upstream() data_10 = lambda: get_data(10) data_100 = lambda: get_data(100) # use for d in data_10: print(d)
很簡(jiǎn)單吧,但可能你要問(wèn)了,我們既然寫出了get_data這個(gè)迭代器,那么我們使用的時(shí)候直接for d in get_data(10)這樣用不就好了,為什么中間要用匿名函數(shù)包一層呢?
道理也很簡(jiǎn)單,如果這個(gè)數(shù)據(jù)是我們自己使用,當(dāng)然是沒(méi)必要中間包一層的。但如果我們是傳給下游使用的話,對(duì)于下游來(lái)說(shuō)它肯定是不希望考慮上游太多的細(xì)節(jié)的,越簡(jiǎn)單越好。所以我們直接丟一個(gè)包裝好的迭代器過(guò)去,下游直接call即可。否則的話,下游還需要感知get_data這個(gè)函數(shù)傳入的參數(shù),顯然是不夠合理的。
以上就是學(xué)會(huì)迭代器設(shè)計(jì)模式,幫你大幅提升python性能的詳細(xì)內(nèi)容,更多關(guān)于python 迭代器設(shè)計(jì)模式的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
pandas?實(shí)現(xiàn)?in?和?not?in?的用法及使用心得
pandas按條件篩選數(shù)據(jù)時(shí),除了使用query()方法,還可以使用isin和對(duì)isin取反進(jìn)行條件篩選,今天通過(guò)本文給大家介紹pandas?實(shí)現(xiàn)?in?和?not?in?的用法及使用心得,感興趣的朋友跟隨小編一起看看吧2023-01-01
Python使用fastAPI如何實(shí)現(xiàn)一個(gè)流式傳輸接口
這篇文章主要介紹了Python使用fastAPI如何實(shí)現(xiàn)一個(gè)流式傳輸接口問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-06-06
django下創(chuàng)建多個(gè)app并設(shè)置urls方法
在本篇文章里小編給大家分享的是一篇關(guān)于django下創(chuàng)建多個(gè)app并設(shè)置urls方法,需要的朋友們可以參考學(xué)習(xí)下。2020-08-08
Flask框架學(xué)習(xí)筆記之模板操作實(shí)例詳解
這篇文章主要介紹了Flask框架學(xué)習(xí)筆記之模板操作,結(jié)合實(shí)例形式詳細(xì)分析了flask框架模板引擎Jinja2的模板調(diào)用、模板繼承相關(guān)原理與操作技巧,需要的朋友可以參考下2019-08-08
不到40行代碼用Python實(shí)現(xiàn)一個(gè)簡(jiǎn)單的推薦系統(tǒng)
這篇文章主要給大家介紹了如何利用不到40行python代碼實(shí)現(xiàn)一個(gè)簡(jiǎn)單的推薦系統(tǒng),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
Tensorflow tf.nn.atrous_conv2d如何實(shí)現(xiàn)空洞卷積的
這篇文章主要介紹了Tensorflow tf.nn.atrous_conv2d如何實(shí)現(xiàn)空洞卷積的,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
Python?的counter()函數(shù)解析與示例詳解
在?Python?中,?collections?模塊提供了?Counter?類,用于計(jì)算可迭代對(duì)象中元素的數(shù)量,?Counter?是一個(gè)字典的子類,它以元素作為鍵,以元素出現(xiàn)的次數(shù)作為值進(jìn)行計(jì)數(shù),本文給大家介紹Python?的counter()函數(shù),感興趣的朋友一起看看吧2023-08-08
django.db.utils.ProgrammingError: (1146, u“Table‘’ doesn’t e
這篇文章主要給大家介紹了關(guān)于執(zhí)行python manage.py migrate時(shí)報(bào)錯(cuò):django.db.utils.ProgrammingError: (1146, "Table 'test.model_student' doesn't exist" )問(wèn)題的解決方法,文中將解決的方法介紹的非常詳細(xì),需要的朋友可以參考下2018-07-07

