TensorFlow的自動求導(dǎo)原理分析

更新時間：2021年05月26日 11:48:03 作者：qq_25094489

這篇文章主要介紹了TensorFlow的自動求導(dǎo)原理分析，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教

原理：

TensorFlow使用的求導(dǎo)方法稱為自動微分（Automatic Differentiation），它既不是符號求導(dǎo)也不是數(shù)值求導(dǎo)，而類似于將兩者結(jié)合的產(chǎn)物。

最基本的原理就是鏈?zhǔn)椒▌t，關(guān)鍵思想是在基本操作（op）的水平上應(yīng)用符號求導(dǎo)，并保持中間結(jié)果（grad）。

基本操作的符號求導(dǎo)定義在\tensorflow\python\ops\math_grad.py文件中，這個文件中的所有函數(shù)都用RegisterGradient裝飾器包裝了起來，這些函數(shù)都接受兩個參數(shù)op和grad，參數(shù)op是操作，第二個參數(shù)是grad是之前的梯度。

鏈?zhǔn)角髮?dǎo)代碼：

舉個例子：

補充：聊聊Tensorflow自動求導(dǎo)機制

自動求導(dǎo)機制

在即時執(zhí)行模式下，Tensorflow引入tf.GradientTape()這個“求導(dǎo)記錄器”來實現(xiàn)自動求導(dǎo)。

計算函數(shù)y(x)=x^2在x = 3時的導(dǎo)數(shù)：

import tensorflow as tf
#定義變量
x = tf.Variable(initial_value = 3.)

#在tf.GradientTape()的上下文內(nèi)，所有計算步驟都會被記錄以用于求導(dǎo)
with tf.GradientTape() as tape:
    #y = x^2
    y = tf.square(x)
#計算y關(guān)于x的導(dǎo)數(shù)(斜率，梯度)
y_grad = tape.gradient(y,x)
print([y,y_grad])

輸出：

[<tf.Tensor: shape=(), dtype=float32, numpy=9.0>, <tf.Tensor: shape=(), dtype=float32, numpy=6.0>]

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python 腳本獲取ES 存儲容量的實例
今天小編就為大家分享一篇Python 腳本獲取ES 存儲容量的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-12-12
使用Python的Django和layim實現(xiàn)即時通訊的方法
這篇文章主要介紹了使用Python的Django和layim實現(xiàn)即時通訊的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-05-05
Python制作一個系統(tǒng)信息采集工具
這篇文章主要為大家詳細(xì)介紹了如何使用Python編寫一個系統(tǒng)信息采集工具,好為重裝系統(tǒng)做準(zhǔn)備,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
2024-12-12
python主線程捕獲子線程的方法
這篇文章主要為大家詳細(xì)介紹了python主線程捕獲子線程的方法，具有一定的參考價值，感興趣的朋友可以參考一下
2018-06-06
python re模塊findall()函數(shù)實例解析
這篇文章主要介紹了python re模塊findall()函數(shù)實例解析，具有一定借鑒價值,需要的朋友可以參考下
2018-01-01
Python 蟻群算法詳解
這篇文章主要介紹了Python編程實現(xiàn)蟻群算法詳解，涉及螞蟻算法的簡介，主要原理及公式，以及Python中的實現(xiàn)代碼，具有一定參考價值，需要的朋友可以了解下
2021-10-10
Python手寫回歸樹的實現(xiàn)
本文主要介紹了Python手寫回歸樹的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2022-06-06
通過實例解析python subprocess模塊原理及用法
這篇文章主要介紹了通過實例解析python subprocess模塊原理及用法,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2020-10-10
OpenCV+python實現(xiàn)實時目標(biāo)檢測功能
這篇文章主要介紹了OpenCV+python實現(xiàn)實時目標(biāo)檢測功能，本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
2020-06-06
Python檢測一個對象是否為字符串類的方法
這篇文章主要介紹了Python檢測一個對象是否為字符串類的方法,即檢測是一個對象是否是字符串對象,本文還講解了一個有趣的判斷方法,需要的朋友可以參考下
2015-05-05