Python Pytorch深度學(xué)習(xí)之自動(dòng)微分

更新時(shí)間：2021年10月28日 10:25:58 作者：柚子味的羊

今天小編就為大家分享一篇關(guān)于Pytorch自動(dòng)微分的文章，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧

一、簡介

antograd包是Pytorch中所有神經(jīng)網(wǎng)絡(luò)的核心。autograd為Tensor上的所有操作提供自動(dòng)微分，它是一個(gè)由運(yùn)行定義的框架，這意味著以代碼運(yùn)行方式定義后向傳播，并且每一次迭代都可能不同

二、TENSOR

torch.Tensor是包的核心。

1.如果將屬性.requires_grad設(shè)置為True,則會(huì)開始跟蹤針對tensor的所有操作。

2.完成計(jì)算之后，可以調(diào)用backward()來自帶計(jì)算多有梯度。該張量的梯度將積累到.grad屬性中。

3.要停止tensor歷史記錄的跟蹤，可以調(diào)用.detach()，他將與計(jì)算歷史記錄分離，并防止將來的計(jì)算被跟蹤

4.要停止跟蹤歷史記錄（和使用內(nèi)存），可以將代碼塊使用with torch.no_grad():包裝起來。在評估模型時(shí)候，很有用，因?yàn)槟Ｐ驮谟?xùn)練階段具有requires_grad=True的可訓(xùn)練參數(shù)有利于調(diào)參，但是在評估階段不需要梯度

5.還有一個(gè)對于autograd實(shí)現(xiàn)非常重要的就是Function。tensor和Function互相連接并構(gòu)建一個(gè)肺循環(huán)圖，他保存整個(gè)完整的計(jì)算過程的歷史信息。每個(gè)張量都有一個(gè).grad_fn屬性保存著創(chuàng)建了張量的Function的引用（如果用戶自己創(chuàng)建的張量，那么grad_fn是None）

6.如果想計(jì)算導(dǎo)數(shù)，可以調(diào)用Tensor.backward().如果Tensor是標(biāo)量（包含一個(gè)元素?cái)?shù)據(jù)）則不需要指定任何參數(shù)backward(),但是如果他有更多元素，則需要指定gradient參數(shù)來指定張量的形狀

import torch
# 創(chuàng)建一個(gè)張量，設(shè)置requires_grad=True
x=torch.ones(2,2,requires_grad=True)
print(x)
# 針對張量操作
y=x+2
print(y)
print(y.grad_fn)#y作為操作的結(jié)果被創(chuàng)建，所以他有g(shù)rad_fn
# 對y操作
z=y*y*3
out=z.mean()
print(z,out)

運(yùn)行結(jié)果

在這里插入圖片描述

# 如果在變量輸入過程中沒有提供相應(yīng)參數(shù)，輸入的標(biāo)記默認(rèn)為False,requires_grad_()會(huì)改變張量的requires_grad標(biāo)記
a=torch.randn(2, 2)
a=((a*3)/(a-1))
# 前面沒有設(shè)置requires_grad，固會(huì)輸出False
print(a.requires_grad)
a.requires_grad_(True)
# 經(jīng)過上面語句的更改之后，此處應(yīng)該輸出True
print(a.requires_grad)
b=(a*a).sum()
# 輸出梯度信息
print(b.grad_fn)

運(yùn)行結(jié)果

在這里插入圖片描述

三、梯度

現(xiàn)在向后傳播，因?yàn)檩敵霭艘粋€(gè)標(biāo)量，out,backward()等同于out.backward(torch.tensor(1,))

out.backward()#向后傳播
print(x.grad)#打印梯度

運(yùn)行結(jié)果

在這里插入圖片描述

原理

在這里插入圖片描述

四、Example——雅克比向量積

# 雅克比向量積
x=torch.randn(3,requires_grad=True)
y=x*2
print(y)
while y.data.norm()<1000:
    y=y*2
print(y)#此時(shí)y不是標(biāo)量，torch.autograd 不能夠直接計(jì)算整個(gè)雅可比，但是如果我們只想要雅可比向量積，只需要簡單的傳遞向量給 backward 作為參數(shù)
v=torch.tensor([0.1,1.0,0.0001],dtype=torch.float)
y.backward(v)
print(x.grad)
print(x.requires_grad)
print((x**2).requires_grad)
# 使用一下語句停止從跟蹤歷史中.require_gra=True的張量自動(dòng)求導(dǎo)
with torch.no_grad():
    print((x**2).requires_grad)

運(yùn)行結(jié)果

在這里插入圖片描述