在?pytorch?中實現(xiàn)計算圖和自動求導(dǎo)
前言：
今天聊一聊 pytorch 的計算圖和自動求導(dǎo)，我們先從一個簡單例子來看，下面是一個簡單函數(shù)建立了 yy 和 xx 之間的關(guān)系
然后我們結(jié)點和邊形式表示上面公式：
上面的式子可以用圖的形式表達，接下來我們用 torch 來計算 x 導(dǎo)數(shù)，首先我們創(chuàng)建一個 tensor 并且將其requires_grad設(shè)置為True表示隨后反向傳播會對其進行求導(dǎo)。
x = torch.tensor(3.,requires_grad=True)
然后寫出
y = 3*x**2 + 4*x + 2
y.backward() x.grad
通過調(diào)用y.backward()來進行求導(dǎo)，這時就可以通過x.grad來獲得x的導(dǎo)數(shù)
x.requires_grad_(False)
可以通過requires_grad_讓x不參與到自動求導(dǎo)
for epoch in range(3): y = 3*x**2 + 4*x + 2 y.backward() print(x.grad) x.grad.zero_()
如果這里沒有調(diào)用x.grad_zero_()就是把每次求導(dǎo)數(shù)和上一次求導(dǎo)結(jié)果進行累加。
鏈?zhǔn)椒▌t
相對于 z 對 x 求偏導(dǎo)時，我們可以將 y 看成常數(shù)，這樣 x 導(dǎo)數(shù)是 1 那么
x = torch.tensor([1.,2.,3.],requires_grad=True)
y = x * 2 + 3 z = y **2
out = z.mean() out.backward()
print(out) #tensor(51.6667, grad_fn=<MeanBackward0>)
print(x.grad) #tensor([ 6.6667, 9.3333, 12.0000])
對于一個簡單的網(wǎng)絡(luò)，我們可以手動計算梯度，但是如果擺在你面前的是一個有152 層的網(wǎng)絡(luò)怎么辦？或者該網(wǎng)絡(luò)有多個分支。這時你的計算復(fù)雜程度可想而知。接下來會帶來更深入自動求導(dǎo)內(nèi)部機制
到此這篇關(guān)于在 pytorch 中實現(xiàn)計算圖和自動求導(dǎo)的文章就介紹到這了,更多相關(guān) pytorch 計算圖 內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- 使用pytorch進行張量計算、自動求導(dǎo)和神經(jīng)網(wǎng)絡(luò)構(gòu)建功能
- pytorch如何定義新的自動求導(dǎo)函數(shù)
- Pytorch自動求導(dǎo)函數(shù)詳解流程以及與TensorFlow搭建網(wǎng)絡(luò)的對比
- 淺談Pytorch中的自動求導(dǎo)函數(shù)backward()所需參數(shù)的含義
- pytorch中的自定義反向傳播,求導(dǎo)實例
- 關(guān)于PyTorch 自動求導(dǎo)機制詳解
- Pytorch反向求導(dǎo)更新網(wǎng)絡(luò)參數(shù)的方法
- 關(guān)于pytorch求導(dǎo)總結(jié)(torch.autograd)
相關(guān)文章
python輕松辦公將100個Excel中符合條件的數(shù)據(jù)匯總到1個Excel里
這篇文章主要為大家介紹了python輕松辦公將100個Excel中符合條件的數(shù)據(jù)匯總到1個Excel里示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-03-03
Python+Selenium自動化環(huán)境搭建與操作基礎(chǔ)詳解
Selenium是如今最常用的自動化測試工具之一,支持快速開發(fā)自動化測試框架,且支持在多種瀏覽器上執(zhí)行測試。本文將介紹關(guān)于Selenium?Python自動化腳本環(huán)境搭建的相關(guān)資料,需要的朋友可以參考下2022-03-03
這篇文章主要介紹了Python中類的mro與繼承關(guān)系，文章圍繞主題展開初步認(rèn)識mro的解析順序，具有一定的參考價值。需要的朋友可以參考一下2022-07-07
這篇文章主要介紹了如何利用Python制作一個多進制轉(zhuǎn)換工具，可以實現(xiàn)2進制、4進制、8進制、10進制、16進制、32進制直接的互轉(zhuǎn)，需要的可以參考一下2022-02-02
Python環(huán)境的安裝以及PyCharm編輯器配置教程詳解
優(yōu)質(zhì)的教程可以讓我們少走很多彎路，這一點毋庸置疑。這篇文章主要為大家介紹了純凈Python環(huán)境的安裝以及PyCharm編輯器的配置，需要的可以參考一下2023-04-04
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)名片管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-04-04
python爬蟲Mitmproxy安裝使用學(xué)習(xí)筆記
這篇文章主要介紹了python爬蟲Mitmproxy學(xué)習(xí)筆記分享，有需要的朋友可以收藏學(xué)習(xí)下，希望可以對你有所幫助，大家一起共同學(xué)習(xí)，共同進步2021-09-09
Python 生成 -1~1 之間的隨機數(shù)矩陣方法
今天小編就為大家分享一篇Python 生成 -1~1 之間的隨機數(shù)矩陣方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-08-08
這篇文章主要介紹了Python numpy矩陣處理運算工具用法匯總,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2021-10-10
這篇文章主要介紹了基于python 等頻分箱qcut問題的解決，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03