Pytorch Tensor基本數(shù)學(xué)運(yùn)算詳解
1. 加法運(yùn)算
示例代碼:
import torch # 這兩個(gè)Tensor加減乘除會(huì)對(duì)b自動(dòng)進(jìn)行Broadcasting a = torch.rand(3, 4) b = torch.rand(4) c1 = a + b c2 = torch.add(a, b) print(c1.shape, c2.shape) print(torch.all(torch.eq(c1, c2)))
輸出結(jié)果:
torch.Size([3, 4]) torch.Size([3, 4]) tensor(1, dtype=torch.uint8)
2. 減法運(yùn)算
示例代碼:
a = torch.rand(3, 4) b = torch.rand(4) c1 = a - b c2 = torch.sub(a, b) print(c1.shape, c2.shape) print(torch.all(torch.eq(c1, c2)))
輸出結(jié)果:
torch.Size([3, 4]) torch.Size([3, 4]) tensor(1, dtype=torch.uint8)
3. 哈達(dá)瑪積(element wise,對(duì)應(yīng)元素相乘)
示例代碼:
c1 = a * b c2 = torch.mul(a, b) print(c1.shape, c2.shape) print(torch.all(torch.eq(c1, c2)))
輸出結(jié)果:
torch.Size([3, 4]) torch.Size([3, 4]) tensor(1, dtype=torch.uint8)
4. 除法運(yùn)算
示例代碼:
c1 = a / b c2 = torch.div(a, b) print(c1.shape, c2.shape) print(torch.all(torch.eq(c1, c2)))
輸出結(jié)果:
torch.Size([3, 4]) torch.Size([3, 4]) tensor(1, dtype=torch.uint8)
5. 矩陣乘法
(1)二維矩陣相乘
二維矩陣乘法運(yùn)算操作包括torch.mm()、torch.matmul()、@,
示例代碼:
import torch a = torch.ones(2, 1) b = torch.ones(1, 2) print(torch.mm(a, b).shape) print(torch.matmul(a, b).shape) print((a @ b).shape)
輸出結(jié)果:
torch.Size([2, 2]) torch.Size([2, 2]) torch.Size([2, 2])
(2)多維矩陣相乘
對(duì)于高維的Tensor(dim>2),定義其矩陣乘法僅在最后的兩個(gè)維度上,要求前面的維度必須保持一致,就像矩陣的索引一樣并且運(yùn)算操只有torch.matmul()。
示例代碼:
c = torch.rand(4, 3, 28, 64) d = torch.rand(4, 3, 64, 32) print(torch.matmul(c, d).shape)
輸出結(jié)果:
torch.Size([4, 3, 28, 32])
注意,在這種情形下的矩陣相乘,前面的"矩陣索引維度"如果符合Broadcasting機(jī)制,也會(huì)自動(dòng)做廣播,然后相乘。
示例代碼:
c = torch.rand(4, 3, 28, 64) d = torch.rand(4, 1, 64, 32) print(torch.matmul(c, d).shape)
輸出結(jié)果:
torch.Size([4, 3, 28, 32])
6. 冪運(yùn)算
示例代碼:
import torch a = torch.full([2, 2], 3) b = a.pow(2) # 也可以a**2 print(b)
輸出結(jié)果:
tensor([[9., 9.],
[9., 9.]])
7. 開(kāi)方運(yùn)算
示例代碼:
c = b.sqrt() # 也可以a**(0.5) print(c) d = b.rsqrt() # 平方根的倒數(shù) print(d)
輸出結(jié)果:
tensor([[3., 3.],
[3., 3.]])
tensor([[0.3333, 0.3333],
[0.3333, 0.3333]])
8.指數(shù)與對(duì)數(shù)運(yùn)算
注意log是以自然對(duì)數(shù)為底數(shù)的,以2為底的用log2,以10為底的用log10
示例代碼:
import torch a = torch.exp(torch.ones(2, 2)) # 得到2*2的全是e的Tensor print(a) print(torch.log(a)) # 取自然對(duì)數(shù)
輸出結(jié)果:
tensor([[2.7183, 2.7183],
[2.7183, 2.7183]])
tensor([[1., 1.],
[1., 1.]])
9.近似值運(yùn)算
示例代碼:
import torch a = torch.tensor(3.14) print(a.floor(), a.ceil(), a.trunc(), a.frac()) # 取下,取上,取整數(shù),取小數(shù) b = torch.tensor(3.49) c = torch.tensor(3.5) print(b.round(), c.round()) # 四舍五入
輸出結(jié)果:
tensor(3.) tensor(4.) tensor(3.) tensor(0.1400) tensor(3.) tensor(4.)
10. 裁剪運(yùn)算
即對(duì)Tensor中的元素進(jìn)行范圍過(guò)濾,不符合條件的可以把它變換到范圍內(nèi)部(邊界)上,常用于梯度裁剪(gradient clipping),即在發(fā)生梯度離散或者梯度爆炸時(shí)對(duì)梯度的處理,實(shí)際使用時(shí)可以查看梯度的(L2范數(shù))模來(lái)看看需不需要做處理:w.grad.norm(2)。
示例代碼:
import torch grad = torch.rand(2, 3) * 15 # 0~15隨機(jī)生成 print(grad.max(), grad.min(), grad.median()) # 最大值最小值平均值 print(grad) print(grad.clamp(10)) # 最小是10,小于10的都變成10 print(grad.clamp(3, 10)) # 最小是3,小于3的都變成3;最大是10,大于10的都變成10
輸出結(jié)果:
tensor(14.7400) tensor(1.8522) tensor(10.5734)
tensor([[ 1.8522, 14.7400, 8.2445],
[13.5520, 10.5734, 12.9756]])
tensor([[10.0000, 14.7400, 10.0000],
[13.5520, 10.5734, 12.9756]])
tensor([[ 3.0000, 10.0000, 8.2445],
[10.0000, 10.0000, 10.0000]])
以上這篇Pytorch Tensor基本數(shù)學(xué)運(yùn)算詳解就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python Tkinter Entry和Text的添加與使用詳解
這篇文章主要介紹了Python Tkinter Entry和Text的添加與使用詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03
深入理解python中sort()與sorted()的區(qū)別
Python list內(nèi)置sort()方法用來(lái)排序,也可以用python內(nèi)置的全局sorted()方法來(lái)對(duì)可迭代的序列排序生成新的序列。這篇文章主要介紹了python中sort()與sorted()的區(qū)別,需要的朋友可以參考下2018-08-08
Python實(shí)現(xiàn)進(jìn)程同步和通信的方法
本篇文章主要介紹了Python實(shí)現(xiàn)進(jìn)程同步和通信的方法,詳細(xì)的介紹了Process、Queue、Pipe、Lock等組件,小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-01-01
Python基礎(chǔ)中的的if-else語(yǔ)句詳解
這篇文章主要為大家詳細(xì)介紹了Python基礎(chǔ)中的的if-else語(yǔ)句,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來(lái)幫助2022-02-02
python中f字符串以及其常見(jiàn)用法總結(jié)
python中的f是format函數(shù)的縮寫,用于格式化輸出,下面這篇文章主要給大家介紹了關(guān)于python中f字符串以及其常見(jiàn)用法的相關(guān)資料,文中通過(guò)實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-05-05
Python中os.path.join函數(shù)的用法示例詳解
這篇文章主要給大家介紹了關(guān)于Python中os.path.join函數(shù)用法的相關(guān)資料,os.path.join函數(shù)是Python標(biāo)準(zhǔn)庫(kù)中的一個(gè)函數(shù),用于將多個(gè)路徑組合成一個(gè)有效的路徑,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-10-10
在pycharm中無(wú)法import所安裝的庫(kù)解決方案
這篇文章主要介紹了在pycharm中無(wú)法import所安裝的庫(kù)解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-05-05
python獲取微信小程序手機(jī)號(hào)并綁定遇到的坑
這篇文章主要介紹了python獲取微信小程序手機(jī)號(hào)并綁定遇到的坑,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下2018-11-11
對(duì)numpy Array [: ,] 的取值方法詳解
今天小編就為大家分享一篇對(duì)numpy Array [: ,] 的取值方法詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-07-07

