基于梯度爆炸的解決方法:clip gradient
1. 梯度爆炸的影響
在一個(gè)只有一個(gè)隱藏節(jié)點(diǎn)的網(wǎng)絡(luò)中，損失函數(shù)和權(quán)值w偏置b構(gòu)成error surface，其中有一堵墻，如下所示
損失函數(shù)每次迭代都是每次一小步，但是當(dāng)遇到這堵墻時(shí)，在墻上的某點(diǎn)計(jì)算梯度，梯度會(huì)瞬間增大，指向某處不理想的位置。如果我們使用縮放，可以把誤導(dǎo)控制在可接受范圍內(nèi)，如虛線(xiàn)箭頭所示
2. 解決梯度爆炸問(wèn)題的方法
通常會(huì)使用一種叫”clip gradients “的方法. 它能有效地權(quán)重控制在一定范圍之內(nèi).
算法步驟如下。
首先設(shè)置一個(gè)梯度閾值：clip_gradient
在后向傳播中求出各參數(shù)的梯度，這里我們不直接使用梯度進(jìn)去參數(shù)更新，我們求這些梯度的l2范數(shù)
然后比較梯度的l2范數(shù)||g||與clip_gradient的大小
如果前者大，求縮放因子clip_gradient/||g||, 由縮放因子可以看出梯度越大，則縮放因子越小，這樣便很好地控制了梯度的范圍
最后將梯度乘上縮放因子便得到最后所需的梯度
3. 有無(wú)clip_gradient在GRU模型中的結(jié)果比較
無(wú)clip_gradient
可以很清楚地發(fā)現(xiàn)在2000次迭代出發(fā)生了梯度爆炸，最終影響了訓(xùn)練的效果。
有clip_gradient
可以發(fā)現(xiàn)clip_gradient在前期有效了控制了梯度爆炸的影響，使得最終的loss能下降到滿(mǎn)意的結(jié)果
以上這篇基于梯度爆炸的解決方法:clip gradient就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python使用openCV遍歷文件夾里所有視頻文件并保存成圖片
這篇文章主要介紹了python使用openCV遍歷文件夾里所有視頻文件并保存成圖片，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2020-01-01
今天小編就為大家分享一篇Flask 上傳自定義頭像的實(shí)例詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01
Python面試之os.system()和os.popen()的區(qū)別詳析
Python調(diào)用Shell,有兩種方法:os.system(cmd)或os.popen(cmd)腳本執(zhí)行過(guò)程中的輸出內(nèi)容,下面這篇文章主要給大家介紹了關(guān)于Python面試之os.system()和os.popen()區(qū)別的相關(guān)資料,需要的朋友可以參考下2022-06-06
使用Python創(chuàng)建websocket服務(wù)端并給出不同客戶(hù)端的請(qǐng)求
本文主要介紹了使用Python創(chuàng)建websocket服務(wù)端并給出不同客戶(hù)端的請(qǐng)求，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01
Python數(shù)據(jù)標(biāo)準(zhǔn)化的實(shí)例分析
在本篇文章里小編給大家整理了關(guān)于Python數(shù)據(jù)標(biāo)準(zhǔn)化的實(shí)例內(nèi)容，有需要的朋友們可以測(cè)試學(xué)習(xí)下。2021-08-08
Python 實(shí)現(xiàn)Mac 屏幕截圖詳解
今天小編就為大家分享一篇對(duì)Python 實(shí)現(xiàn)Mac 屏幕截圖詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-10-10
這篇文章主要介紹了Python一鍵生成核酸檢測(cè)日歷,本文以深圳為例，結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-09-09
畫(huà)pytorch模型圖,以及參數(shù)計(jì)算的方法
今天小編就為大家分享一篇畫(huà)pytorch模型圖,以及參數(shù)計(jì)算的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08
解決Python3.7.0 SSL低版本導(dǎo)致Pip無(wú)法使用問(wèn)題
這篇文章主要介紹了解決Python3.7.0 SSL低版本導(dǎo)致Pip無(wú)法使用問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-09-09
這篇文章主要介紹了PyCharm中如何切換Python版本問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08