Python如何實現(xiàn)大型數(shù)組運算(使用NumPy)
問題
你需要在大數(shù)據(jù)集(比如數(shù)組或網(wǎng)格)上面執(zhí)行計算。
解決方案
涉及到數(shù)組的重量級運算操作,可以使用NumPy庫。NumPy的一個主要特征是它會給Python提供一個數(shù)組對象,相比標(biāo)準(zhǔn)的Python列表而已更適合用來做數(shù)學(xué)運算。下面是一個簡單的小例子,向你展示標(biāo)準(zhǔn)列表對象和NumPy數(shù)組對象之間的差別:
>>> # Python lists >>> x = [1, 2, 3, 4] >>> y = [5, 6, 7, 8] >>> x * 2 [1, 2, 3, 4, 1, 2, 3, 4] >>> x + 10 Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: can only concatenate list (not "int") to list >>> x + y [1, 2, 3, 4, 5, 6, 7, 8] >>> # Numpy arrays >>> import numpy as np >>> ax = np.array([1, 2, 3, 4]) >>> ay = np.array([5, 6, 7, 8]) >>> ax * 2 array([2, 4, 6, 8]) >>> ax + 10 array([11, 12, 13, 14]) >>> ax + ay array([ 6, 8, 10, 12]) >>> ax * ay array([ 5, 12, 21, 32]) >>>
正如所見,兩種方案中數(shù)組的基本數(shù)學(xué)運算結(jié)果并不相同。特別的,numpy中的標(biāo)量運算(比如 ax * 2 或 ax + 10 )會作用在每一個元素上。另外,當(dāng)兩個操作數(shù)都是數(shù)組的時候執(zhí)行元素對等位置計算,并最終生成一個新的數(shù)組。
對整個數(shù)組中所有元素同時執(zhí)行數(shù)學(xué)運算可以使得作用在整個數(shù)組上的函數(shù)運算簡單而又快速。比如,如果你想計算多項式的值,可以這樣做:
>>> def f(x): ... return 3*x**2 - 2*x + 7 ... >>> f(ax) array([ 8, 15, 28, 47]) >>>
NumPy還為數(shù)組操作提供了大量的通用函數(shù),這些函數(shù)可以作為math模塊中類似函數(shù)的替代。比如:
>>> np.sqrt(ax) array([ 1. , 1.41421356, 1.73205081, 2. ]) >>> np.cos(ax) array([ 0.54030231, -0.41614684, -0.9899925 , -0.65364362]) >>>
使用這些通用函數(shù)要比循環(huán)數(shù)組并使用math模塊中的函數(shù)執(zhí)行計算要快的多。因此,只要有可能的話盡量選擇numpy的數(shù)組方案。
底層實現(xiàn)中,NumPy數(shù)組使用了C或者Fortran語言的機制分配內(nèi)存。也就是說,它們是一個非常大的連續(xù)的并由同類型數(shù)據(jù)組成的內(nèi)存區(qū)域。所以,你可以構(gòu)造一個比普通Python列表大的多的數(shù)組。比如,如果你想構(gòu)造一個10,000*10,000的浮點數(shù)二維網(wǎng)格,很輕松:
>>> grid = np.zeros(shape=(10000,10000), dtype=float) >>> grid array([[ 0., 0., 0., ..., 0., 0., 0.], [ 0., 0., 0., ..., 0., 0., 0.], [ 0., 0., 0., ..., 0., 0., 0.], ..., [ 0., 0., 0., ..., 0., 0., 0.], [ 0., 0., 0., ..., 0., 0., 0.], [ 0., 0., 0., ..., 0., 0., 0.]]) >>>
所有的普通操作還是會同時作用在所有元素上:
>>> grid += 10
>>> grid
array([[ 10., 10., 10., ..., 10., 10., 10.],
[ 10., 10., 10., ..., 10., 10., 10.],
[ 10., 10., 10., ..., 10., 10., 10.],
...,
[ 10., 10., 10., ..., 10., 10., 10.],
[ 10., 10., 10., ..., 10., 10., 10.],
[ 10., 10., 10., ..., 10., 10., 10.]])
>>> np.sin(grid)
array([[-0.54402111, -0.54402111, -0.54402111, ..., -0.54402111,
-0.54402111, -0.54402111],
[-0.54402111, -0.54402111, -0.54402111, ..., -0.54402111,
-0.54402111, -0.54402111],
[-0.54402111, -0.54402111, -0.54402111, ..., -0.54402111,
-0.54402111, -0.54402111],
...,
[-0.54402111, -0.54402111, -0.54402111, ..., -0.54402111,
-0.54402111, -0.54402111],
[-0.54402111, -0.54402111, -0.54402111, ..., -0.54402111,
-0.54402111, -0.54402111],
[-0.54402111, -0.54402111, -0.54402111, ..., -0.54402111,
-0.54402111, -0.54402111]])
>>>
關(guān)于NumPy有一點需要特別的主意,那就是它擴展Python列表的索引功能 - 特別是對于多維數(shù)組。為了說明清楚,先構(gòu)造一個簡單的二維數(shù)組并試著做些試驗:
>>> a = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]])
>>> a
array([[ 1, 2, 3, 4],
[ 5, 6, 7, 8],
[ 9, 10, 11, 12]])
>>> # Select row 1
>>> a[1]
array([5, 6, 7, 8])
>>> # Select column 1
>>> a[:,1]
array([ 2, 6, 10])
>>> # Select a subregion and change it
>>> a[1:3, 1:3]
array([[ 6, 7],
[10, 11]])
>>> a[1:3, 1:3] += 10
>>> a
array([[ 1, 2, 3, 4],
[ 5, 16, 17, 8],
[ 9, 20, 21, 12]])
>>> # Broadcast a row vector across an operation on all rows
>>> a + [100, 101, 102, 103]
array([[101, 103, 105, 107],
[105, 117, 119, 111],
[109, 121, 123, 115]])
>>> a
array([[ 1, 2, 3, 4],
[ 5, 16, 17, 8],
[ 9, 20, 21, 12]])
>>> # Conditional assignment on an array
>>> np.where(a < 10, a, 10)
array([[ 1, 2, 3, 4],
[ 5, 10, 10, 8],
[ 9, 10, 10, 10]])
>>>
討論
NumPy是Python領(lǐng)域中很多科學(xué)與工程庫的基礎(chǔ),同時也是被廣泛使用的最大最復(fù)雜的模塊。即便如此,在剛開始的時候通過一些簡單的例子和玩具程序也能幫我們完成一些有趣的事情。
通常我們導(dǎo)入NumPy模塊的時候會使用語句 import numpy as np 。這樣的話你就不用再你的程序里面一遍遍的敲入numpy,只需要輸入np就行了,節(jié)省了不少時間。
如果想獲取更多的信息,你當(dāng)然得去NumPy官網(wǎng)逛逛了,網(wǎng)址是: http://www.numpy.org
以上就是Python如何實現(xiàn)大型數(shù)組運算(使用NumPy)的詳細(xì)內(nèi)容,更多關(guān)于Python 大型數(shù)組運算(使用NumPy)的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Python實現(xiàn)的樸素貝葉斯算法經(jīng)典示例【測試可用】
這篇文章主要介紹了Python實現(xiàn)的樸素貝葉斯算法,結(jié)合實例形式詳細(xì)分析了Python實現(xiàn)與使用樸素貝葉斯算法的具體操作步驟與相關(guān)實現(xiàn)技巧,需要的朋友可以參考下2018-06-06
python SQLAlchemy 數(shù)據(jù)庫連接池的實現(xiàn)
SSQLAlchemy提供了強大的連接池和連接管理功能,可以有效地管理數(shù)據(jù)庫連接,本文主要介紹了python SQLAlchemy 數(shù)據(jù)庫連接池的實現(xiàn),具有一定的參考價值,感興趣的可以了解一下2025-03-03
python機器學(xué)習(xí)算法與數(shù)據(jù)降維分析詳解
這篇文章主要為大家介紹了python機器學(xué)習(xí)算法與數(shù)據(jù)降維的分析詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步2021-11-11
Centos Python2 升級到Python3的簡單實現(xiàn)
下面小編就為大家?guī)硪黄狢entos Python2 升級到Python3的簡單實現(xiàn)。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2016-06-06
簡單掌握Python中g(shù)lob模塊查找文件路徑的用法
glob模塊遵循Unix的shell規(guī)則來匹配文件名進(jìn)行文件查找,下面我們結(jié)合匹配相關(guān)的字符區(qū)間與通配符知識,來簡單掌握Python中g(shù)lob模塊查找文件路徑的用法2016-07-07

