pytorch排查loss值出現(xiàn)nan的情況及解決
更新時(shí)間：2025年09月02日 09:07:13 作者：Anthony_CH
在實(shí)驗(yàn)室訓(xùn)練中,損失值出現(xiàn)nan是因條件篩選導(dǎo)致空列表,觸發(fā)torch.log()錯(cuò)誤,通過包裹訓(xùn)練代碼快速定位問題,最終解決方案是添加1e-7常量確保數(shù)值穩(wěn)定性,避免計(jì)算異常
問題
- 跑實(shí)驗(yàn)室時(shí)出現(xiàn)了損失值為nan（下圖所示）
排查
因?yàn)橛幸恍┡袛嗨杂昧?/p>
bd_index = torch.where(s_label != o_label)[0]
語句來選出滿足條件的下標(biāo)，這樣做可能返回一個(gè)空列表（不滿足條件時(shí)），因?yàn)楹罄m(xù)有用到 torch.log() 函數(shù)來計(jì)算，所以如果是空列表放進(jìn)去就會出現(xiàn)loss = nan，但是不同情況得具體分析，
排查的過程最好用的就是使用語句
with torch.autograd.detect_anomaly():
來將訓(xùn)練代碼包裹起來（如下圖所示），這樣就能迅速定位到出現(xiàn)空值的點(diǎn)（平時(shí)訓(xùn)練時(shí)得去掉，會拖慢速度）
最終定位到 torch.log() 處，最終解決辦法就是加上常量 log_prob = torch.log(prob + 1e-7) 這樣就不會空值
- 運(yùn)行成功：
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python模擬簡單電梯調(diào)度算法,涉及Python線程、隊(duì)列、時(shí)間延遲等相關(guān)操作技巧,需要的朋友可以參考下2018-08-08
本篇文章主要介紹了Python獲取指定文件夾下的文件名的方法，本文采用os.walk()和os.listdir()兩種方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-02-02
這篇文章主要介紹了Python 代碼實(shí)現(xiàn)各種酷炫功能，生成二維碼、生成詞云、批量摳圖、文字情緒識別等功能分享，需要的小伙伴可以參考一下2022-03-03
這篇文章主要介紹了Python爬蟲之Scrapy環(huán)境搭建案例教程,本篇文章通過簡要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-07-07
python Tkinter實(shí)時(shí)顯示數(shù)據(jù)功能實(shí)現(xiàn)
這篇文章主要介紹了python Tkinter實(shí)時(shí)顯示數(shù)據(jù)功能實(shí)現(xiàn),本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-07-07
urllib?庫，它是?Python?內(nèi)置的?HTTP?請求庫，不需要額外安裝即可使用，這篇文章主要介紹了Python?urllib?入門使用,需要的朋友可以參考下2022-11-11
pytorch 兩個(gè)GPU同時(shí)訓(xùn)練的解決方案
這篇文章主要介紹了pytorch 兩個(gè)GPU同時(shí)訓(xùn)練的解決方案，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-06-06
本文主要介紹了Python的字典鍵名可以是哪些類型，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-09-09
Python mplfinance庫繪制金融圖表實(shí)現(xiàn)數(shù)據(jù)可視化實(shí)例探究
mplfinance（Matplotlib Finance）,它是基于Matplotlib的庫,專門用于創(chuàng)建金融圖表和交互式金融數(shù)據(jù)可視化,本文將深入介紹?mplfinance,包括其基本概念、功能特性以及如何使用示例代碼創(chuàng)建各種金融圖表2024-01-01
Python批量將csv文件轉(zhuǎn)化成xml文件的實(shí)例
將 csv 格式轉(zhuǎn)換成xml格式有許多方法，可以用數(shù)據(jù)庫的方式，也有許多軟件可以將 csv 轉(zhuǎn)換成xml。但是比較麻煩，本文利用 Python 一鍵批量將 csv 文件轉(zhuǎn)化成 xml 文件。2021-05-05