支持PyTorch的einops張量操作神器用法示例詳解
今天做visual transformer研究的時(shí)候,發(fā)現(xiàn)了einops這么個(gè)神兵利器,決定大肆安利一波。
先看鏈接:https://github.com/arogozhnikov/einops
安裝:
pip install einops
基礎(chǔ)用法
einops的強(qiáng)項(xiàng)是把張量的維度操作具象化,讓開發(fā)者“想出即寫出”。舉個(gè)例子:
from einops import rearrange # rearrange elements according to the pattern output_tensor = rearrange(input_tensor, 'h w c -> c h w')
用'h w c -> c h w'就完成了維度調(diào)換,這個(gè)功能與pytorch中的permute相似。但是,einops的rearrange玩法可以更高級:
from einops import rearrange import torch a = torch.randn(3, 9, 9) # [3, 9, 9] output = rearrange(a, 'c (r p) w -> c r p w', p=3) print(output.shape) # [3, 3, 3, 9]
這就是高級用法了,把中間維度看作r×p,然后給出p的數(shù)值,這樣系統(tǒng)會自動把中間那個(gè)維度拆解成3×3。這樣就完成了[3, 9, 9] -> [3, 3, 3, 9]的維度轉(zhuǎn)換。
這個(gè)功能就不是pytorch的內(nèi)置功能可比的。
除此之外,還有reduce和repeat,也是很好用。
from einops import repeat import torch a = torch.randn(9, 9) # [9, 9] output_tensor = repeat(a, 'h w -> c h w', c=3) # [3, 9, 9]
指定c,就可以指定復(fù)制的層數(shù)了。
再看reduce:
from einops import reduce import torch a = torch.randn(9, 9) # [9, 9] output_tensor = reduce(a, 'b c (h h2) (w w2) -> b h w c', 'mean', h2=2, w2=2)
這里的'mean'指定池化方式。 相信你看得懂,不懂可留言提問~
高級用法
einops也可以嵌套在pytorch的layer里,請看:
# example given for pytorch, but code in other frameworks is almost identical
from torch.nn import Sequential, Conv2d, MaxPool2d, Linear, ReLU
from einops.layers.torch import Rearrange
model = Sequential(
Conv2d(3, 6, kernel_size=5),
MaxPool2d(kernel_size=2),
Conv2d(6, 16, kernel_size=5),
MaxPool2d(kernel_size=2),
# flattening
Rearrange('b c h w -> b (c h w)'),
Linear(16*5*5, 120),
ReLU(),
Linear(120, 10),
)
這里的Rearrange是nn.module的子類,直接可以當(dāng)作網(wǎng)絡(luò)層放到模型里~
一個(gè)字,絕。
以上就是支持PyTorch的einops張量操作神器用法示例詳解的詳細(xì)內(nèi)容,更多關(guān)于einops張量操作用法的資料請關(guān)注腳本之家其它相關(guān)文章!
- python機(jī)器學(xué)習(xí)pytorch?張量基礎(chǔ)教程
- 人工智能學(xué)習(xí)Pytorch張量數(shù)據(jù)類型示例詳解
- Python Pytorch深度學(xué)習(xí)之Tensors張量
- Pytorch實(shí)現(xiàn)張量的創(chuàng)建與使用方法
- Pytorch使用PIL和Numpy將單張圖片轉(zhuǎn)為Pytorch張量方式
- pytorch 實(shí)現(xiàn)張量tensor,圖片,CPU,GPU,數(shù)組等的轉(zhuǎn)換
- pytorch中tensor張量數(shù)據(jù)類型的轉(zhuǎn)化方式
- Pytorch創(chuàng)建張量的四種方法
相關(guān)文章
Python實(shí)現(xiàn)LR1文法的完整實(shí)例代碼
這篇文章主要給大家介紹了關(guān)于Python實(shí)現(xiàn)LR1文法的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10
python實(shí)現(xiàn)封裝得到virustotal掃描結(jié)果
這篇文章主要介紹了python實(shí)現(xiàn)封裝得到virustotal掃描結(jié)果的方法,是比較實(shí)用的技巧,可將掃描結(jié)果寫入數(shù)據(jù)庫,需要的朋友可以參考下2014-10-10
django rest framework 過濾時(shí)間操作
這篇文章主要介紹了django rest framework 過濾時(shí)間操作,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
Python實(shí)現(xiàn)智慧校園自動評教全新版
上一次的智慧校園自動評教是用的selenium庫去模擬人去對瀏覽器進(jìn)行點(diǎn)擊操作,雖然比手動評教要快,但是效率還是不高.從而想去嘗試重新寫一份不用selenium的評教方案,功夫不負(fù)有心人,最終成功了,需要的朋友可以參考下2021-06-06
Jupyter Notebook讀取csv文件出現(xiàn)的問題及解決
這篇文章主要介紹了Jupyter Notebook讀取csv文件出現(xiàn)的問題及解決,具有很好的參考價(jià)值,希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-01-01
python celery分布式任務(wù)隊(duì)列的使用詳解
這篇文章主要介紹了python celery分布式任務(wù)隊(duì)列的使用詳解,Celery 是一個(gè) 基于python開發(fā)的分布式異步消息任務(wù)隊(duì)列,通過它可以輕松的實(shí)現(xiàn)任務(wù)的異步處理, 如果你的業(yè)務(wù)場景中需要用到異步任務(wù),就可以考慮使用celery,需要的朋友可以參考下2019-07-07
C#返回當(dāng)前系統(tǒng)所有可用驅(qū)動器符號的方法
這篇文章主要介紹了C#返回當(dāng)前系統(tǒng)所有可用驅(qū)動器符號的方法,涉及C#操作系統(tǒng)硬件驅(qū)動的相關(guān)技巧,需要的朋友可以參考下2015-04-04
使用Numpy讀取CSV文件,并進(jìn)行行列刪除的操作方法
今天小編就為大家分享一篇使用Numpy讀取CSV文件,并進(jìn)行行列刪除的操作方法,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
python通過ElementTree操作XML獲取結(jié)點(diǎn)讀取屬性美化XML
本文講解如何通過ElementTree解析XML,獲取兒子結(jié)點(diǎn)、插入兒子結(jié)點(diǎn)、操作屬性、美化XML2013-12-12

