1、張量Tensor

張量(Tensor)是PyTorch深度學(xué)習(xí)框架中的核心數(shù)據(jù)結(jié)構(gòu)，在PyTorch軟件框架中，幾乎所有的數(shù)據(jù)計(jì)算和信息流都是以Tensor的形式在表達(dá)。官方給出的定義是：

一個(gè) torch.Tensor是一個(gè)包含單個(gè)數(shù)據(jù)類(lèi)型元素的多維矩陣
關(guān)鍵詞

• 單個(gè)數(shù)據(jù)類(lèi)型：在一個(gè)張量數(shù)據(jù)結(jié)構(gòu)內(nèi)，只會(huì)包含一種數(shù)據(jù)類(lèi)型。
• 多維矩陣：簡(jiǎn)單來(lái)說(shuō)張量就是為了高維矩陣而創(chuàng)建的，常用的NCHW格式矩陣，就是4維矩陣。

學(xué)習(xí)Tensor這個(gè)包的時(shí)候，主要是關(guān)注張量的數(shù)據(jù)類(lèi)型、張量的一些基本操作。

2、數(shù)據(jù)類(lèi)型

為了支持各種精度的訓(xùn)練、推理，Tensor支持的數(shù)據(jù)類(lèi)型繁多。這里，僅列出在做計(jì)算機(jī)視覺(jué)相關(guān)的常用數(shù)據(jù)類(lèi)型。

要構(gòu)造張量，建議使用工廠(chǎng)函數(shù)，例如 torch.empty()，其中使用 dtype 參數(shù)。 torch.Tensor 構(gòu)造函數(shù)是默認(rèn)張量類(lèi)型 (torch.FloatTensor) 的別名。也就是說(shuō)，在構(gòu)造張量時(shí)，不傳入數(shù)據(jù)類(lèi)型參數(shù)，默認(rèn)就是32位浮點(diǎn)數(shù)。

3、初始化（構(gòu)造張量）

可以使用 torch.tensor() 構(gòu)造函數(shù)從 Python list 或序列構(gòu)造張量。

>>> torch.tensor([[1., -1.], [1., -1.]])
tensor([[ 1.0000, -1.0000],
        [ 1.0000, -1.0000]])
>>> torch.tensor(np.array([[1, 2, 3], [4, 5, 6]]))
tensor([[ 1,  2,  3],
        [ 4,  5,  6]])

有幾個(gè)注意點(diǎn)：

• torch.tensor() 始終復(fù)制 data。也就是說(shuō)使用list或者序列構(gòu)造張量時(shí)，均為以深拷貝的方式創(chuàng)建。
• 可以通過(guò)將 torch.dtype 和/或 torch.device 傳遞給構(gòu)造函數(shù)或張量創(chuàng)建操作來(lái)構(gòu)造特定數(shù)據(jù)類(lèi)型的張量。例如：

>>> torch.zeros([2, 4], dtype=torch.int32)
tensor([[ 0,  0,  0,  0],
        [ 0,  0,  0,  0]], dtype=torch.int32)
>>> cuda0 = torch.device('cuda:0')
>>> torch.ones([2, 4], dtype=torch.float64, device=cuda0)
tensor([[ 1.0000,  1.0000,  1.0000,  1.0000],
        [ 1.0000,  1.0000,  1.0000,  1.0000]], dtype=torch.float64, device='cuda:0')

更多的張量構(gòu)造方式可以參考我的上一篇博文《PyTorch使用教程(2)-torch包》。

4、常用操作

張量支持索引、切片、連接、修改等操作，也支持大量的數(shù)學(xué)計(jì)算操作。常見(jiàn)的操作可以參考我的上一篇博文《PyTorch使用教程(2)-torch包》。這里，僅講述張量操作需注意的幾個(gè)點(diǎn)。

僅對(duì)一個(gè)單個(gè)值的張量的使用進(jìn)行說(shuō)明：
使用 torch.Tensor.item() 從包含單個(gè)值的張量中獲取 Python 數(shù)字。

>>> x = torch.tensor([[1]])
>>> x
tensor([[ 1]])
>>> x.item()
1
>>> x = torch.tensor(2.5)
>>> x
tensor(2.5000)
>>> x.item()
2.5

操作張量的方法如果用下劃線(xiàn)后綴標(biāo)記，則表示該操作時(shí)inplace操作：操作后的張量和輸入張量共享一個(gè)Storage。使用inplace操作，可以減小GPU緩存的使用。如torch.FloatTensor.abs_() 在原地計(jì)算絕對(duì)值并返回修改后的張量，而 torch.FloatTensor.abs() 在新張量中計(jì)算結(jié)果。

>>> x = torch.tensor([[1., -1.], [1., -1.]])
>>> x2=x.abs_()
>>> x.storage
<bound method Tensor.storage of tensor([[1., 1.],
        [1., 1.]])>
>>> x2.storage
<bound method Tensor.storage of tensor([[1., 1.],
        [1., 1.]])>

5、常用屬性

5.1 存儲(chǔ)（storage）

每個(gè)張量都與一個(gè)關(guān)聯(lián)的 torch.Storage，它保存其數(shù)據(jù)，可以理解為數(shù)據(jù)緩地址。

>>> t = torch.rand((2,2))
>>> t.storage 
<bound method Tensor.storage of tensor([[0.3267, 0.8759],
        [0.9612, 0.1931]])>

5.2 形狀（shape）

可以使用shape屬性或者size()方法查看張量在每一維的長(zhǎng)度。

>>> x = torch.randn((3,3))
>>> x.shape
torch.Size([3, 3])
>>> x.size()
torch.Size([3, 3])

可以通過(guò)torch的reshape方法或者張量本身的View()方法進(jìn)行形狀的改變。

>>> t = torch.rand((3, 3))
>>> t
tensor([[0.8397, 0.6708, 0.8727],
        [0.8286, 0.3910, 0.9540],
        [0.8672, 0.4297, 0.1825]])
>>> m=t.view(1,9) 
>>> m
tensor([[0.8397, 0.6708, 0.8727, 0.8286, 0.3910, 0.9540, 0.8672, 0.4297, 0.1825]])

5.3 數(shù)據(jù)類(lèi)型(dtype)

張量的數(shù)據(jù)類(lèi)型（如torch.float32, torch.int64等）。

>>> t = torch.rand((3, 3))
>>> t.dtype
torch.float32

5.4 設(shè)備（device）

張量所在的設(shè)備（如CPU或GPU）。

>>> m = torch.rand((3, 3))
>>> m.device
device(type='cpu')

如需要在CPU和GPU之間進(jìn)行張量的移動(dòng)，可以使用張量的to()方法。

將張量移動(dòng)到GPU（如果可用）。

>>> m=torch.rand((2,2))
>>> m.device
device(type='cpu')
>>> m.to('cuda')
tensor([[0.5340, 0.0079],
        [0.2983, 0.5315]], device='cuda:0')

將張量移動(dòng)至CPU

>>> m.to('cpu')
tensor([[0.5340, 0.0079],
        [0.2983, 0.5315]])

6、小結(jié)下

用一個(gè)表格，匯總下PyTorch中tensor（張量）的常用數(shù)據(jù)結(jié)構(gòu)及其相關(guān)屬性：

到此這篇關(guān)于PyTorch使用教程之Tensor包詳解的文章就介紹到這了,更多相關(guān)PyTorch Tensor包內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！