PyTorch dropout設(shè)置訓(xùn)練和測試模式的實現(xiàn)

更新時間：2021年05月27日 11:31:24 作者：運動碼農(nóng)

這篇文章主要介紹了PyTorch dropout設(shè)置訓(xùn)練和測試模式的實現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。

看代碼吧~

class Net(nn.Module):
…
model = Net()
…
model.train() # 把module設(shè)成訓(xùn)練模式，對Dropout和BatchNorm有影響
model.eval() # 把module設(shè)置為預(yù)測模式，對Dropout和BatchNorm模塊有影響

補充：Pytorch遇到的坑——訓(xùn)練模式和測試模式切換

由于訓(xùn)練的時候Dropout和BN層起作用，每個batch BN層的參數(shù)不一樣，dropout在訓(xùn)練時隨機失效點具有隨機性，所以訓(xùn)練和測試要區(qū)分開來。

使用時切記要根據(jù)實際情況切換：

model.train()
model.eval()

補充：Pytorch在測試與訓(xùn)練過程中的驗證結(jié)果不一致問題

引言

今天在使用Pytorch導(dǎo)入此前保存的模型進行測試，在過程中發(fā)現(xiàn)輸出的結(jié)果與驗證結(jié)果差距甚大，經(jīng)過排查后發(fā)現(xiàn)是forward與eval()順序問題。

現(xiàn)象

此前的錯誤代碼是

    input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    model.eval()
    model.forward()

應(yīng)該改為

    input_cpu = torch.ones((1, 2, 160, 160))
    target_cpu =torch.ones((1, 2, 160, 160))
    target_gpu, input_gpu = target_cpu.cuda(), input_cpu.cuda()
    model.set_input_2(input_gpu, target_gpu)
    # 先forward再eval
    model.forward()
    model.eval()

當(dāng)時有個疑慮，為什么要在forward后面再加eval()，查了下相關(guān)資料，主要是在BN層以及Dropout的問題。當(dāng)使用eval()時，模型會自動固定BN層以及Dropout，選取訓(xùn)練好的值，否則則會取平均，可能導(dǎo)致生成的圖片顏色失真。

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python腳本實現(xiàn)調(diào)用手機攝像頭
這篇文章主要為大家詳細(xì)介紹了Python如何通過,腳本實現(xiàn)調(diào)用手機攝像頭,這樣就能隨時隨地用電腦偷偷看看男朋友都在干啥了,感興趣的小伙伴可以了解下
2025-03-03
在Flask使用TensorFlow的幾個常見錯誤及解決
這篇文章主要介紹了在Flask使用TensorFlow的幾個常見錯誤及解決,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2024-01-01
PyCharm控制臺堆棧亂碼問題解決方案
PyCharm環(huán)境都已經(jīng)配置成了UTF-8編碼,控制臺打印中文也不會出現(xiàn)亂碼,但報錯堆棧信息中如果有中文會出現(xiàn)中文亂碼,遇到這樣的問題如何解決呢,下面小編給大家?guī)砹薖yCharm控制臺堆棧亂碼問題解決方案,感興趣的朋友一起看看吧
2023-12-12
python爬取招聘要求等信息實例
在本篇文章里小編給大家整理了關(guān)于python爬取招聘要求等信息實例內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。
2020-11-11
python計算程序開始到程序結(jié)束的運行時間和程序運行的CPU時間
這篇文章主要介紹了python計算程序開始到程序結(jié)束的運行時間和程序運行的CPU時間的三個方法，大家參考使用
2013-11-11
python中協(xié)程實現(xiàn)TCP連接的實例分析
在本篇文章中我們給大家分享了python中協(xié)程實現(xiàn)TCP連接的代碼示例內(nèi)容，有需要的朋友們可以跟著學(xué)習(xí)下。
2018-10-10
Python中defaultdict與lambda表達(dá)式用法實例小結(jié)
這篇文章主要介紹了Python中defaultdict與lambda表達(dá)式用法,結(jié)合實例形式分析了Python中defaultdict與lambda表達(dá)式的功能、使用方法及相關(guān)注意事項,需要的朋友可以參考下
2018-04-04
python的random模塊及加權(quán)隨機算法的python實現(xiàn)方法
下面小編就為大家?guī)硪黄猵ython的random模塊及加權(quán)隨機算法的python實現(xiàn)方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-01-01
對python操作kafka寫入json數(shù)據(jù)的簡單demo分享
今天小編就為大家分享一篇對python操作kafka寫入json數(shù)據(jù)的簡單demo，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-12-12
使用Django連接Mysql數(shù)據(jù)庫步驟
今天小編就為大家分享一篇關(guān)于使用Django連接Mysql數(shù)據(jù)庫步驟，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧
2019-01-01