解決Pytorch中的神坑:關(guān)于model.eval的問(wèn)題
有時(shí)候使用Pytorch訓(xùn)練完模型，在測(cè)試數(shù)據(jù)上面得到的結(jié)果令人大跌眼鏡。
這個(gè)時(shí)候需要檢查一下定義的Model類中有沒(méi)有 BN 或 Dropout 層，如果有任何一個(gè)存在
那么在測(cè)試之前需要加入一行代碼：
#model是實(shí)例化的模型對(duì)象 model = model.eval()
表示將模型轉(zhuǎn)變?yōu)閑valuation（測(cè)試）模式，這樣就可以排除BN和Dropout對(duì)測(cè)試的干擾。
因?yàn)锽N和Dropout在訓(xùn)練和測(cè)試時(shí)是不同的：
對(duì)于BN，訓(xùn)練時(shí)通常采用mini-batch，所以每一批中的mean和std大致是相同的；而測(cè)試階段往往是單個(gè)圖像的輸入，不存在mini-batch的概念。所以將model改為eval模式后，BN的參數(shù)固定，并采用之前訓(xùn)練好的全局的mean和std；
對(duì)于Dropout，訓(xùn)練階段，隱含層神經(jīng)元先乘概率P，再進(jìn)行激活；而測(cè)試階段，神經(jīng)元先激活，每個(gè)隱含層神經(jīng)元的輸出再乘概率P。
如下圖所示：
補(bǔ)充：pytorch中model.eval之后是否還需要model.train的問(wèn)題
答案是：需要的
正確的寫(xiě)法是
for循環(huán)之后再開(kāi)啟train，
循環(huán)之后的評(píng)估m(xù)odel.eval之后就會(huì)再次回到model.train
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
神經(jīng)網(wǎng)絡(luò)相關(guān)之基礎(chǔ)概念的講解
今天小編就為大家分享一篇關(guān)于神經(jīng)網(wǎng)絡(luò)相關(guān)之基礎(chǔ)概念的講解，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2018-12-12
使用python解析MDX詞典數(shù)據(jù)并保存為Excel文件
MDX（Mobile Dictionary eXchange）是一種常見(jiàn)的詞典文件格式,通常用于在移動(dòng)設(shè)備和電腦之間共享辭典數(shù)據(jù),本文深入探討了從MDX詞典數(shù)據(jù)提取、處理到最終保存為Excel文件的全過(guò)程,需要的朋友可以參考下2023-12-12
Pygame游戲開(kāi)發(fā)之太空射擊實(shí)戰(zhàn)盾牌篇
相信大多數(shù)8090后都玩過(guò)太空射擊游戲，在過(guò)去游戲不多的年代太空射擊自然屬于經(jīng)典好玩的一款了，今天我們來(lái)自己動(dòng)手實(shí)現(xiàn)它，在編寫(xiě)學(xué)習(xí)中回顧過(guò)往展望未來(lái)，在本課中，我們將為玩家添加一個(gè)盾牌以及一個(gè)用于顯示盾牌等級(jí)的欄2022-08-08
淺談Python_Openpyxl使用（最全總結(jié)）
這篇文章主要介紹了淺談Python_Openpyxl使用（最全總結(jié)），文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
解決python flask中config配置管理的問(wèn)題
今天小編就為大家分享一篇解決python flask中config配置管理的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
今天小編就為大家分享一篇Python GUI編程 文本彈窗的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
Python實(shí)現(xiàn)自動(dòng)化表單填寫(xiě)功能
在Python中,自動(dòng)化表單填寫(xiě)可以通過(guò)多種庫(kù)和工具實(shí)現(xiàn),本文將詳細(xì)介紹常用的自動(dòng)化表單處理工具,并對(duì)它們進(jìn)行橫向比較,可根據(jù)需求選擇合適的工具,感興趣的小伙伴跟著小編一起來(lái)看看吧2025-03-03
Python學(xué)習(xí)之基礎(chǔ)語(yǔ)法介紹
大家好，本篇文章主要講的是Python學(xué)習(xí)之基礎(chǔ)語(yǔ)法介紹，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽2021-12-12
用python實(shí)現(xiàn)九九乘法表實(shí)例
大家好，本篇文章主要講的是用python實(shí)現(xiàn)九九乘法表實(shí)例，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下2022-01-01
這篇文章主要介紹了python中的迭代和可迭代對(duì)象代碼示例，具有一定借鑒價(jià)值,需要的朋友可以參考下2017-12-12