解決pytorch 交叉熵損失輸出為負數的問題
更新時間：2020年07月07日 14:47:09 作者：*小呆
這篇文章主要介紹了解決pytorch 交叉熵損失輸出為負數的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
網絡訓練中，loss曲線非常奇怪
交叉熵怎么會有負數。
經過排查，交叉熵不是有個負對數嗎，當網絡輸出的概率是0-1時，正數。可當網絡輸出大于1的數，就有可能變成負數。
所以加上一行就行了
out1 = F.softmax(out1, dim=1)
補充知識：在pytorch框架下，訓練model過程中，loss=nan問題時該怎么解決？
當我在UCF-101數據集訓練alexnet時，epoch設為100，跑到三十多個epoch時，出現了loss=nan問題，當時是一臉懵逼，在查閱資料后，我通過減小學習率解決了問題，現總結一下出現這個問題的可能原因及解決方法：
1. 減小整體學習率。學習率比較大的時候，參數可能over shoot了，結果就是找不到極小值點；減小學習率可以讓參數朝著極值點前進；
2. 改變網絡寬度。有可能是網絡后面的層參數更新異常，增加后面層的寬度試試；
3. 改變層的學習率。每個層都可以設置學習率，可以嘗試減小后面層的學習率試試；
4. 數據歸一化（減均值，除方差，或者加入normalization，例如BN、L2 norm等）；
5. 加入gradient clipping；
6 輸入數據含有臟數據，即NaN,一般當使用實際業(yè)務的真實數據時，容易出現臟數據。
以上這篇解決pytorch 交叉熵損失輸出為負數的問題就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
pygame是Python的第三方庫，里面提供了使用Python開發(fā)游戲的基礎包。本文將介紹如何通過Pygame實現鼠標進行圖片的移動與縮放，感興趣的可以關注一下2021-12-12
在Django中,我們可以通過實現悲觀鎖和樂觀鎖來保證數據的安全性,本文就來介紹一下django實現悲觀鎖樂觀鎖的項目實踐,感興趣的可以了解一下2023-08-08
在本篇文章里小編給大家整理了一篇關于python模型集成知識點總結，有需要的朋友們可以學習參考下。2021-08-08
Python中Playwright?與?pyunit?結合使用詳解
這篇文章主要介紹了Python中Playwright?與?pyunit?結合使用,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-03-03
這篇文章介紹了Python中的numpy數組模塊，文中通過示例代碼介紹的非常詳細。對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-05-05
Python的產生似乎就是專門用來處理數據的，順理成章的成為大數據的主流語言，本文介紹十二個函數輔助你更容易更便捷的用Python進行數據處理2021-11-11
今天小編就為大家分享一篇pytorch 輸出中間層特征的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08
這篇文章主要為大家介紹了Python機器學習性能度量利用鳶尾花數據繪制P-R曲線示例學習，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-02-02
TensorFlow人工智能學習創(chuàng)建數據實現示例詳解
這篇文章主要為大家介紹了TensorFlow人工智能學習創(chuàng)建數據實現示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步2021-11-11
在本篇文章里小編給大家整理的是關于python煙花效果的代碼實例，對此有興趣的朋友們可以在跟著學習參考下。2020-02-02