Pytorch反向求導(dǎo)更新網(wǎng)絡(luò)參數(shù)的方法

更新時間：2019年08月17日 17:57:56 作者：tsq292978891

今天小編就為大家分享一篇Pytorch反向求導(dǎo)更新網(wǎng)絡(luò)參數(shù)的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

方法一：手動計算變量的梯度，然后更新梯度

import torch
from torch.autograd import Variable
# 定義參數(shù)
w1 = Variable(torch.FloatTensor([1,2,3]),requires_grad = True)
# 定義輸出
d = torch.mean(w1)
# 反向求導(dǎo)
d.backward()
# 定義學(xué)習(xí)率等參數(shù)
lr = 0.001
# 手動更新參數(shù)
w1.data.zero_() # BP求導(dǎo)更新參數(shù)之前,需先對導(dǎo)數(shù)置0
w1.data.sub_(lr*w1.grad.data)

一個網(wǎng)絡(luò)中通常有很多變量,如果按照上述的方法手動求導(dǎo),然后更新參數(shù),是很麻煩的,這個時候可以調(diào)用torch.optim

方法二：使用torch.optim

import torch
from torch.autograd import Variable
import torch.nn as nn
import torch.optim as optim
# 這里假設(shè)我們定義了一個網(wǎng)絡(luò),為net
steps = 10000
# 定義一個optim對象
optimizer = optim.SGD(net.parameters(), lr = 0.01)
# 在for循環(huán)中更新參數(shù)
for i in range(steps):
 optimizer.zero_grad() # 對網(wǎng)絡(luò)中參數(shù)當(dāng)前的導(dǎo)數(shù)置0
 output = net(input) # 網(wǎng)絡(luò)前向計算
 loss = criterion(output, target) # 計算損失
 loss.backward() #　得到模型中參數(shù)對當(dāng)前輸入的梯度
 optimizer.step() # 更新參數(shù)

注意：torch.optim只用于參數(shù)更新和對參數(shù)的梯度置０，不能計算參數(shù)的梯度，在使用torch.optim進(jìn)行參數(shù)更新之前，需要寫前向與反向傳播求導(dǎo)的代碼

以上這篇Pytorch反向求導(dǎo)更新網(wǎng)絡(luò)參數(shù)的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python實(shí)現(xiàn)比較兩個列表(list)范圍
這篇文章主要介紹了Python實(shí)現(xiàn)比較兩個列表(list)范圍,本文根據(jù)一道題目實(shí)現(xiàn)解決代碼,本文分別給出題目和解答源碼,需要的朋友可以參考下
2015-06-06
Python實(shí)現(xiàn)端口掃描器的示例代碼
本文主要介紹了Python實(shí)現(xiàn)端口掃描器，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-08-08
Python序列循環(huán)移位的3種方法推薦
下面小編就為大家分享一篇Python序列循環(huán)移位的3種方法推薦，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-04-04
一文詳解Python中的zip函數(shù)
在Python中,處理數(shù)據(jù)時經(jīng)常需要同時遍歷多個序列,zip函數(shù)提供了一種簡潔的方式來組合這些序列,它用于將多個可迭代對象（如列表、元組等）的元素配對,本文將給大家詳細(xì)介紹一下Python中的zip函數(shù),需要的朋友可以參考下
2024-05-05
Python中三種命令行參數(shù)利用方式詳解
Python的命令行參數(shù),提供了很多有用的功能,可以方便調(diào)試和運(yùn)行,這篇文章主要給大家介紹了關(guān)于Python中三種命令行參數(shù)利用方式的相關(guān)資料,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下
2023-12-12
pandas讀取中文xlsx文件出現(xiàn)的問題
這篇文章主要介紹了pandas讀取中文xlsx文件出現(xiàn)的問題及解決，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-05-05
如何從PyTorch中獲取過程特征圖實(shí)例詳解
特征提取是圖像處理過程中常需要用到的一種方法,其效果好壞對模型的泛化能力有至關(guān)重要的影響,下面這篇文章主要給大家介紹了關(guān)于如何從PyTorch中獲取過程特征圖的相關(guān)資料,需要的朋友可以參考下
2023-01-01
Python實(shí)現(xiàn)常見網(wǎng)絡(luò)通信的示例詳解
這篇文章主要為大家詳細(xì)介紹了Python實(shí)現(xiàn)常見網(wǎng)絡(luò)通信的相關(guān)方法,文中的示例代碼講解詳細(xì),感興趣的小伙伴就跟隨小編一起學(xué)習(xí)一下吧
2025-04-04
利用python實(shí)現(xiàn)蝴蝶曲線
這篇文章主要介紹了如何利用python實(shí)現(xiàn)蝴蝶曲線，自然界的很多現(xiàn)象都可以適當(dāng)?shù)暮喕么鷶?shù)曲線和超越曲線來表達(dá)，下面我們就來利用去先畫出小蝴蝶，需要的小伙伴可以參考一下
2022-03-03
Python中Toml配置文件的操作詳解
TOML是一種用于配置文件的輕量級、易讀的數(shù)據(jù)序列化格式,這篇文章主要為大家詳細(xì)介紹了python如何對Toml配置文件進(jìn)行簡單操作,感興趣的小伙伴可以了解下
2023-09-09