利用numba讓python速度提升百倍
前言;
python由于它動(dòng)態(tài)解釋性語言的特性,跑起代碼來相比java、c++要慢很多,尤其在做科學(xué)計(jì)算的時(shí)候,十億百億級(jí)別的運(yùn)算,讓python的這種劣勢(shì)更加凸顯。
辦法永遠(yuǎn)比困難多,numba就是解決python慢的一大利器,可以讓python的運(yùn)行速度提升上百倍!
一、什么是numba?
numba是一款可以將python函數(shù)編譯為機(jī)器代碼的JIT編譯器,經(jīng)過numba編譯的python代碼(僅限數(shù)組運(yùn)算),其運(yùn)行速度可以接近C或FORTRAN語言。

python之所以慢,是因?yàn)樗强緾Python編譯的,numba的作用是給python換一種編譯器。
python、c、numba三種編譯器速度對(duì)比:

使用numba非常簡(jiǎn)單,只需要將numba裝飾器應(yīng)用到python函數(shù)中,無需改動(dòng)原本的python代碼,numba會(huì)自動(dòng)完成剩余的工作。
import numpy as np import numba from numba import jit @jit(nopython=True) # jit,numba裝飾器中的一種 def go_fast(a): # 首次調(diào)用時(shí),函數(shù)被編譯為機(jī)器代碼 ? ? trace = 0 ? ? # 假設(shè)輸入變量是numpy數(shù)組 ? ? for i in range(a.shape[0]): ? # Numba 擅長(zhǎng)處理循環(huán) ? ? ? ? trace += np.tanh(a[i, i])? ? ? return a + trace
以上代碼是一個(gè)python函數(shù),用以計(jì)算numpy數(shù)組各個(gè)數(shù)值的雙曲正切值,我們使用了numba裝飾器,它將這個(gè)python函數(shù)編譯為等效的機(jī)器代碼,可以大大減少運(yùn)行時(shí)間。
二、numba適合科學(xué)計(jì)算
numpy是為面向numpy數(shù)組的計(jì)算任務(wù)而設(shè)計(jì)的。
在面向數(shù)組的計(jì)算任務(wù)中,數(shù)據(jù)并行性對(duì)于像GPU這樣的加速器是很自然的。Numba了解NumPy數(shù)組類型,并使用它們生成高效的編譯代碼,用于在GPU或多核CPU上執(zhí)行。特殊裝飾器還可以創(chuàng)建函數(shù),像numpy函數(shù)那樣在numpy數(shù)組上廣播。
什么情況下使用numba呢?
- 使用numpy數(shù)組做大量科學(xué)計(jì)算時(shí)
- 使用for循環(huán)時(shí)
三、學(xué)習(xí)使用numba
第一步:導(dǎo)入numpy、numba及其編譯器
import numpy as np import numba? from numba import jit
第二步:傳入numba裝飾器jit,編寫函數(shù)
# 傳入jit,numba裝飾器中的一種 @jit(nopython=True)? def go_fast(a): # 首次調(diào)用時(shí),函數(shù)被編譯為機(jī)器代碼 ? ? trace = 0 ? ? # 假設(shè)輸入變量是numpy數(shù)組 ? ? for i in range(a.shape[0]): ? # Numba 擅長(zhǎng)處理循環(huán) ? ? ? ? trace += np.tanh(a[i, i]) ?# numba喜歡numpy函數(shù) ? ? return a + trace # numba喜歡numpy廣播
nopython = True選項(xiàng)要求完全編譯該函數(shù)(以便完全刪除Python解釋器調(diào)用),否則會(huì)引發(fā)異常。這些異常通常表示函數(shù)中需要修改的位置,以實(shí)現(xiàn)優(yōu)于Python的性能。強(qiáng)烈建議您始終使用nopython = True。
第三步:給函數(shù)傳遞實(shí)參
# 因?yàn)楹瘮?shù)要求傳入的參數(shù)是nunpy數(shù)組 x = np.arange(100).reshape(10, 10)? # 執(zhí)行函數(shù) go_fast(x)
第四步:經(jīng)numba加速的函數(shù)執(zhí)行時(shí)間
% timeit go_fast(x)
輸出:
3.63 µs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)
第五步:不經(jīng)numba加速的函數(shù)執(zhí)行時(shí)間
def go_fast(a): # 首次調(diào)用時(shí),函數(shù)被編譯為機(jī)器代碼 ? ? trace = 0 ? ? # 假設(shè)輸入變量是numpy數(shù)組 ? ? for i in range(a.shape[0]): ? # Numba 擅長(zhǎng)處理循環(huán) ? ? ? ? trace += np.tanh(a[i, i]) ?# numba喜歡numpy函數(shù) ? ? return a + trace # numba喜歡numpy廣播 x = np.arange(100).reshape(10, 10)? %timeit go_fast(x)
輸出:
136 µs ± 1.09 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
結(jié)論:
在numba加速下,代碼執(zhí)行時(shí)間為3.63微秒/循環(huán)。不經(jīng)過numba加速,代碼執(zhí)行時(shí)間為136微秒/循環(huán),兩者相比,前者快了40倍。
四、numba讓python飛起來
前面已經(jīng)對(duì)比了numba使用前后,python代碼速度提升了40倍,但這還不是最快的。
這次,我們不使用numpy數(shù)組,僅用for循環(huán),看看nunba對(duì)for循環(huán)到底有多鐘愛!
# 不使用numba的情況 def t(): ? ? x = 0 ? ? for i in np.arange(5000): ? ? ? ? x += i ? ? return x %timeit(t())
輸出:
408 µs ± 9.73 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
# 使用numba的情況 @jit(nopython=True)? def t(): ? ? x = 0 ? ? for i in np.arange(5000): ? ? ? ? x += i ? ? return x %timeit(t())?
輸出:
1.57 µs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
使用numba前后分別是408微秒/循環(huán)、1.57微秒/循環(huán),速度整整提升了200多倍!
結(jié)語:
numba對(duì)python代碼運(yùn)行速度有巨大的提升,這極大的促進(jìn)了大數(shù)據(jù)時(shí)代的python數(shù)據(jù)分析能力,對(duì)數(shù)據(jù)科學(xué)工作者來說,這真是一個(gè)lucky tool !
當(dāng)然numba不會(huì)對(duì)numpy和for循環(huán)以外的python代碼有很大幫助,你不要指望numba可以幫你加快從數(shù)據(jù)庫取數(shù),這點(diǎn)它真的做不到哈。
到此這篇關(guān)于利用numba讓python速度提升百倍的文章就介紹到這了,更多相關(guān)python速度提升numba內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python中l(wèi)strip()截掉字符的實(shí)例講解
在本篇文章里小編給大家整理的是一篇關(guān)于python中l(wèi)strip()截掉字符的實(shí)例講解內(nèi)容,有興趣的朋友們可以學(xué)習(xí)下。2021-05-05
pip?install?jupyterlab失敗的原因問題及探索
在學(xué)習(xí)Yolo模型時(shí),嘗試安裝JupyterLab但遇到錯(cuò)誤,錯(cuò)誤提示缺少Rust和Cargo編譯環(huán)境,因?yàn)閜ywinpty包需要它們來編譯,由于在conda環(huán)境下操作,Rust和Cargo已經(jīng)安裝,問題是pywinpty包丟失,安裝pywinpty包后,再次執(zhí)行pip?install?jupyterlab即可正常下載2025-02-02
python實(shí)現(xiàn)的用于搜索文件并進(jìn)行內(nèi)容替換的類實(shí)例
這篇文章主要介紹了python實(shí)現(xiàn)的用于搜索文件并進(jìn)行內(nèi)容替換的類,涉及Python針對(duì)文件及字符串的相關(guān)操作技巧,需要的朋友可以參考下2015-06-06
Python基礎(chǔ)之面向?qū)ο筮M(jìn)階詳解
這篇文章主要為大家詳細(xì)介紹了Python基礎(chǔ)之面向?qū)ο筮M(jìn)階,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來幫助2022-02-02

