在pytorch中對非葉節(jié)點的變量計算梯度實例
更新時間：2020年01月10日 15:39:20 作者：FesianXu
今天小編就為大家分享一篇在pytorch中對非葉節(jié)點的變量計算梯度實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
在pytorch中一般只對葉節(jié)點進行梯度計算，也就是下圖中的d,e節(jié)點，而對非葉節(jié)點，也即是c,b節(jié)點則沒有顯式地去保留其中間計算過程中的梯度（因為一般來說只有葉節(jié)點才需要去更新），這樣可以節(jié)省很大部分的顯存，但是在調(diào)試過程中，有時候我們需要對中間變量梯度進行監(jiān)控，以確保網(wǎng)絡的有效性，這個時候我們需要打印出非葉節(jié)點的梯度，為了實現(xiàn)這個目的，我們可以通過兩種手段進行。
注冊hook函數(shù)
Tensor.register_hook[2] 可以注冊一個反向梯度傳導時的hook函數(shù)，這個hook函數(shù)將會在每次計算 關于該張量 
的時候 被調(diào)用，經(jīng)常用于調(diào)試的時候打印出非葉節(jié)點梯度。當然，通過這個手段，你也可以自定義某一層的梯度更新方法。[3] 具體到這里的打印非葉節(jié)點的梯度，代碼如：
def hook_y(grad): print(grad) x = Variable(torch.ones(2, 2), requires_grad=True) y = x + 2 z = y * y * 3 y.register_hook(hook_y) out = z.mean() out.backward()
輸出如:
tensor([[4.5000, 4.5000], [4.5000, 4.5000]])
retain_grad()
Tensor.retain_grad()顯式地保存非葉節(jié)點的梯度，當然代價就是會增加顯存的消耗，而用hook函數(shù)的方法則是在反向計算時直接打印，因此不會增加顯存消耗，但是使用起來retain_grad()要比hook函數(shù)方便一些。代碼如：
x = Variable(torch.ones(2, 2), requires_grad=True) y = x + 2 y.retain_grad() z = y * y * 3 out = z.mean() out.backward() print(y.grad)
輸出如：
tensor([[4.5000, 4.5000], [4.5000, 4.5000]])
以上這篇在pytorch中對非葉節(jié)點的變量計算梯度實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
VSCode Python自動格式化是指使用VSCode編輯器中的Python插件,可以自動對Python代碼進行格式化,使其符合PEP 8規(guī)范,這篇文章主要給大家介紹了關于VSCode設置Python語言自動格式化的詳細方案,需要的朋友可以參考下2023-07-07
今天小編就為大家分享一篇python用列表生成式寫嵌套循環(huán)的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11
這篇文章主要介紹了python實現(xiàn)逆波蘭計算表達式的方法,較為詳細的分析了逆波蘭表達式的概念及實現(xiàn)技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-05-05
unittest庫unittest庫是python的內(nèi)置庫,用來對程序進行測試,下面這篇文章主要給大家介紹了關于python中單元測試框架unittest基本用法的相關資料,需要的朋友可以參考下2022-09-09
本文實例講述了Python模型封裝部署的原理與實現(xiàn)方法。封裝即是隱藏對象的屬性和實現(xiàn)細節(jié)，僅對外提供公共訪問方式,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-08-08
python中的append()函數(shù)是在列表末尾添加新的對象,且將添加的對象最為一個整體,下面這篇文章主要給大家介紹了關于Python列表append()函數(shù)使用方法的相關資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-06-06
大家好，本篇文章主要講的是Python相互導入的問題解決，感興趣的同學趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2022-01-01
今天小編就為大家分享一篇關于Python中的元組介紹，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-01-01
python3 將階乘改成函數(shù)形式進行調(diào)用的操作
這篇文章主要介紹了python3 將階乘改成函數(shù)形式進行調(diào)用的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
詳解Python操作RabbitMQ服務器消息隊列的遠程結果返回
RabbitMQ是一款基于MQ的服務器,Python可以通過Pika庫來進行程序操控,這里我們將來詳解Python操作RabbitMQ服務器消息隊列的遠程結果返回:2016-06-06