Pytorch Tensor基本數(shù)學(xué)運(yùn)算詳解

更新時(shí)間：2019年12月30日 08:40:40 作者：洪流之源

今天小編就為大家分享一篇Pytorch Tensor基本數(shù)學(xué)運(yùn)算詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

1. 加法運(yùn)算

示例代碼：

import torch
 
# 這兩個(gè)Tensor加減乘除會(huì)對(duì)b自動(dòng)進(jìn)行Broadcasting
a = torch.rand(3, 4)
b = torch.rand(4)
 
c1 = a + b
c2 = torch.add(a, b)
print(c1.shape, c2.shape)
print(torch.all(torch.eq(c1, c2)))

輸出結(jié)果：

torch.Size([3, 4]) torch.Size([3, 4])
tensor(1, dtype=torch.uint8)

2. 減法運(yùn)算

示例代碼：

a = torch.rand(3, 4)
b = torch.rand(4)
 
c1 = a - b
c2 = torch.sub(a, b)
print(c1.shape, c2.shape)
print(torch.all(torch.eq(c1, c2)))

輸出結(jié)果：

torch.Size([3, 4]) torch.Size([3, 4])
tensor(1, dtype=torch.uint8)

3. 哈達(dá)瑪積(element wise，對(duì)應(yīng)元素相乘)

示例代碼：

c1 = a * b
c2 = torch.mul(a, b)
print(c1.shape, c2.shape)
print(torch.all(torch.eq(c1, c2)))

輸出結(jié)果：

torch.Size([3, 4]) torch.Size([3, 4])
tensor(1, dtype=torch.uint8)

4. 除法運(yùn)算

示例代碼：

c1 = a / b
c2 = torch.div(a, b)
print(c1.shape, c2.shape)
print(torch.all(torch.eq(c1, c2)))

輸出結(jié)果：

torch.Size([3, 4]) torch.Size([3, 4])
tensor(1, dtype=torch.uint8)

5. 矩陣乘法

（1）二維矩陣相乘

二維矩陣乘法運(yùn)算操作包括torch.mm()、torch.matmul()、@，

示例代碼：

import torch
 
a = torch.ones(2, 1)
b = torch.ones(1, 2)
print(torch.mm(a, b).shape)
print(torch.matmul(a, b).shape)
print((a @ b).shape)

輸出結(jié)果：

torch.Size([2, 2])
torch.Size([2, 2])
torch.Size([2, 2])

（2）多維矩陣相乘

對(duì)于高維的Tensor（dim>2），定義其矩陣乘法僅在最后的兩個(gè)維度上，要求前面的維度必須保持一致，就像矩陣的索引一樣并且運(yùn)算操只有torch.matmul()。

示例代碼：

c = torch.rand(4, 3, 28, 64)
d = torch.rand(4, 3, 64, 32)
print(torch.matmul(c, d).shape)

輸出結(jié)果：

torch.Size([4, 3, 28, 32])

注意，在這種情形下的矩陣相乘，前面的"矩陣索引維度"如果符合Broadcasting機(jī)制，也會(huì)自動(dòng)做廣播，然后相乘。

示例代碼：

c = torch.rand(4, 3, 28, 64)
d = torch.rand(4, 1, 64, 32)
print(torch.matmul(c, d).shape)

輸出結(jié)果：

torch.Size([4, 3, 28, 32])

6. 冪運(yùn)算

示例代碼：

import torch
 
a = torch.full([2, 2], 3)
 
b = a.pow(2) # 也可以a**2
print(b)

輸出結(jié)果：

tensor([[9., 9.],
    [9., 9.]])

7. 開(kāi)方運(yùn)算

示例代碼：

c = b.sqrt() # 也可以a**(0.5)
print(c)
 
d = b.rsqrt() # 平方根的倒數(shù)
print(d)

輸出結(jié)果：

tensor([[3., 3.],
    [3., 3.]])
tensor([[0.3333, 0.3333],
    [0.3333, 0.3333]])

8.指數(shù)與對(duì)數(shù)運(yùn)算

注意log是以自然對(duì)數(shù)為底數(shù)的，以2為底的用log2，以10為底的用log10

示例代碼：

import torch
 
a = torch.exp(torch.ones(2, 2)) # 得到2*2的全是e的Tensor
print(a)
print(torch.log(a)) # 取自然對(duì)數(shù)

輸出結(jié)果：

tensor([[2.7183, 2.7183],
    [2.7183, 2.7183]])
tensor([[1., 1.],
    [1., 1.]])

9.近似值運(yùn)算

示例代碼：

import torch
 
a = torch.tensor(3.14)
print(a.floor(), a.ceil(), a.trunc(), a.frac()) # 取下,取上,取整數(shù),取小數(shù)
b = torch.tensor(3.49)
c = torch.tensor(3.5)
print(b.round(), c.round()) # 四舍五入

輸出結(jié)果：

tensor(3.) tensor(4.) tensor(3.) tensor(0.1400)
tensor(3.) tensor(4.)

10. 裁剪運(yùn)算

即對(duì)Tensor中的元素進(jìn)行范圍過(guò)濾，不符合條件的可以把它變換到范圍內(nèi)部（邊界）上，常用于梯度裁剪（gradient clipping），即在發(fā)生梯度離散或者梯度爆炸時(shí)對(duì)梯度的處理，實(shí)際使用時(shí)可以查看梯度的（L2范數(shù)）模來(lái)看看需不需要做處理：w.grad.norm(2)。

示例代碼：

import torch
 
grad = torch.rand(2, 3) * 15 # 0~15隨機(jī)生成
print(grad.max(), grad.min(), grad.median()) # 最大值最小值平均值
 
print(grad)
print(grad.clamp(10)) # 最小是10,小于10的都變成10
print(grad.clamp(3, 10)) # 最小是3,小于3的都變成3;最大是10,大于10的都變成10

輸出結(jié)果：

tensor(14.7400) tensor(1.8522) tensor(10.5734)
tensor([[ 1.8522, 14.7400, 8.2445],
    [13.5520, 10.5734, 12.9756]])
tensor([[10.0000, 14.7400, 10.0000],
    [13.5520, 10.5734, 12.9756]])
tensor([[ 3.0000, 10.0000, 8.2445],
    [10.0000, 10.0000, 10.0000]])

以上這篇Pytorch Tensor基本數(shù)學(xué)運(yùn)算詳解就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: