tensorflow 查看梯度方式
更新時(shí)間：2020年02月04日 10:53:36 作者：zyr523
今天小編就為大家分享一篇tensorflow 查看梯度方式，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
1. 為什么要查看梯度
對于初學(xué)者來說網(wǎng)絡(luò)經(jīng)常不收斂，loss很奇怪（就是不收斂），所以懷疑是反向傳播中梯度的問題
（1）求導(dǎo)之后的數(shù)（的絕對值）越來越小（趨近于0），這就是梯度消失
（2）求導(dǎo)之后的數(shù)（的絕對值）越來越大（特別大，發(fā)散），這就是梯度爆炸
所以說呢，當(dāng)loss不正常時(shí)，可以看看梯度是否處于爆炸，或者是消失了，梯度爆炸的話，網(wǎng)絡(luò)中的W也會很大，人工控制一下（初始化的時(shí)候弄小點(diǎn)等等肯定還有其它方法，只是我不知道，知道的大神也可以稍微告訴我一下~~），要是梯度消失，可以試著用用resnet,densenet之類的
2. tensorflow中如何查看梯度
tf.gradients(y,x)這里的就是y對于x的導(dǎo)數(shù)（dy/dx）,x和y一定要有關(guān)聯(lián)哦~
直接tf.gradients(y_, weight1)就可以了~
以上這篇tensorflow 查看梯度方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
- tensorflow 實(shí)現(xiàn)自定義梯度反向傳播代碼
- 有關(guān)Tensorflow梯度下降常用的優(yōu)化方法分享
- TensorFlow梯度求解tf.gradients實(shí)例
- 基于TensorFlow中自定義梯度的2種方式
- tensorflow求導(dǎo)和梯度計(jì)算實(shí)例
- Tensorflow的梯度異步更新示例
- 在Tensorflow中實(shí)現(xiàn)梯度下降法更新參數(shù)值
- Tensorflow實(shí)現(xiàn)部分參數(shù)梯度更新操作
- 運(yùn)用TensorFlow進(jìn)行簡單實(shí)現(xiàn)線性回歸、梯度下降示例
- Tensorflow 卷積的梯度反向傳播過程
相關(guān)文章
python調(diào)用Matplotlib繪制分布點(diǎn)并且添加標(biāo)簽
這篇文章主要為大家詳細(xì)介紹了python調(diào)用Matplotlib繪制分布點(diǎn)并且添加標(biāo)簽的方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-05-05
這篇文章主要介紹了python SocketServer源碼深入解讀,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
Python把png轉(zhuǎn)成jpg的項(xiàng)目實(shí)踐
本文主要介紹了Python把png轉(zhuǎn)成jpg的項(xiàng)目實(shí)踐,可以使用PIL庫來將PNG圖片轉(zhuǎn)換為JPG格式,具有一定的參考價(jià)值,感興趣的可以了解一下2024-02-02
這篇文章主要介紹了python 實(shí)現(xiàn)音頻疊加的示例，幫助大家更好的理解和使用python處理聲音文件，感興趣的朋友可以了解下2020-10-10
實(shí)踐Vim配置python開發(fā)環(huán)境
這篇文章給大家分享了Vim配置python開發(fā)環(huán)境的實(shí)踐心得，大家可以跟著嘗試操作下。2018-07-07
使用PyInstaller將Python代碼打包成獨(dú)立可執(zhí)行文件詳細(xì)步驟
PyInstaller是一個(gè)Python庫,可以將Python應(yīng)用程序轉(zhuǎn)換為獨(dú)立的可執(zhí)行文件,這篇文章主要給大家介紹了關(guān)于使用PyInstaller將Python代碼打包成獨(dú)立可執(zhí)行文件的詳細(xì)步驟,需要的朋友可以參考下2024-07-07
這篇文章主要介紹了如何利用?Python?實(shí)現(xiàn)酷我在線音樂的爬取，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起了解一下2022-04-04
這篇文章主要為大家介紹了Python?Textual文本用戶界面框架使用原理探索,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-02-02
Pandas 處理DataFrame中的inf值實(shí)現(xiàn)
Inf 表示正無窮大或負(fù)無窮大,通常是在數(shù)學(xué)計(jì)算中產(chǎn)生的結(jié)果,本文主要介紹了Pandas 處理DataFrame中的inf值實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下2024-04-04
Python中的extend函數(shù)是用于將一個(gè)列表的元素添加到另一個(gè)列表中,它會將第一個(gè)列表中的元素逐個(gè)添加到第二個(gè)列表的末尾,這篇文章主要給大家介紹了關(guān)于python中extend函數(shù)舉例詳解以及對比的相關(guān)資料,需要的朋友可以參考下2024-03-03