淺談pytorch中的dropout的概率p

更新時間：2021年05月27日 10:57:52 作者：小可愛123

這篇文章主要介紹了淺談pytorch中的dropout的概率p，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

最近需要訓練一個模型，在優(yōu)化模型時用了dropout函數(shù)，為了減少過擬合。

訓練的時候用dropout，測試的時候不用dropout。剛開始以為p是保留神經(jīng)元的比率，訓練設置0.5，測試設置1，loss根本沒減小過，全設置成1也是一樣的效果，后來就考慮到是不是p設置錯了。

上網(wǎng)一搜，果然是的?。?！p的含義理解錯了！不是保留的，而是不保留的！

具體的代碼為：

x2 = F.dropout(x1, p)

x1是上一層網(wǎng)絡的輸出，p是需要刪除的神經(jīng)元的比例。

當p=0時，保留全部神經(jīng)元更新。當p=1時，神經(jīng)元輸出的值都為0。

補充：Pytorch--Dropout筆記

dropout常常用于抑制過擬合，pytorch也提供了很方便的函數(shù)。但是經(jīng)常不知道dropout的參數(shù)p是什么意思。

在TensorFlow中p叫做keep_prob,就一直以為pytorch中的p應該就是保留節(jié)點數(shù)的比例，但是實驗結(jié)果發(fā)現(xiàn)反了，實際上表示的是不保留節(jié)點數(shù)的比例。

看下面的例子：

a = torch.randn(10,1)
>>> tensor([[ 0.0684],
        [-0.2395],
        [ 0.0785],
        [-0.3815],
        [-0.6080],
        [-0.1690],
        [ 1.0285],
        [ 1.1213],
        [ 0.5261],
        [ 1.1664]])

p=0.5

torch.nn.Dropout(0.5)(a)
>>> tensor([[ 0.0000],  
        [-0.0000],  
        [ 0.0000],  
        [-0.7631],  
        [-0.0000],  
        [-0.0000],  
        [ 0.0000],  
        [ 0.0000],  
        [ 1.0521],  
        [ 2.3328]])

p=0

torch.nn.Dropout(0)(a)
>>> tensor([[ 0.0684],
        [-0.2395],
        [ 0.0785],
        [-0.3815],
        [-0.6080],
        [-0.1690],
        [ 1.0285],
        [ 1.1213],
        [ 0.5261],
        [ 1.1664]])

p=1

torch.nn.Dropout(0)(a)
>>> tensor([[0.],  
        [-0.], 
        [0.],  
        [-0.], 
        [-0.], 
        [-0.], 
        [0.],  
        [0.],  
        [0.],  
        [0.]])

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python高級技巧之利用psutil和subprocess實現(xiàn)程序監(jiān)控與管理
本文介紹了如何使用Python的psutil和subprocess模塊監(jiān)控程序運行狀態(tài),并提供了一個案例腳本,用于監(jiān)控目標程序并在停止時自動重啟,詳細介紹了subprocess模塊的基本用法和psutil模塊的系統(tǒng)信息獲取、進程管理及資源監(jiān)控功能,需要的朋友可以參考下
2024-09-09
講解Python中fileno()方法的使用
這篇文章主要介紹了講解Python中fileno()方法的使用,是Python入門中的基礎知識,需要的朋友可以參考下
2015-05-05
20個Python常用技巧分享
Python的可讀性和簡單性是其廣受歡迎的兩大原因，本文介紹20個常用的Python技巧來提高代碼的可讀性，并能幫助你節(jié)省大量時間，下面的技巧將在你的日常編碼練習中非常實用
2023-04-04
python求加權(quán)平均值的實例(附純python寫法)
今天小編就為大家分享一篇python求加權(quán)平均值的實例(附純python寫法)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-08-08
Python數(shù)據(jù)結(jié)構(gòu)與算法中的棧詳解(1)
這篇文章主要為大家詳細介紹了Python中的棧，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助
2022-03-03
詳解Python用三種方式統(tǒng)計詞頻的方法
這篇文章主要介紹了Python用三種方式統(tǒng)計詞頻，每種方法給大家介紹的非常詳細,需要的朋友可以參考下
2019-07-07
python模塊導入的細節(jié)詳解
這篇文章主要給大家介紹了關(guān)于python模塊導入細節(jié)的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2018-12-12
Python json模塊使用實例
這篇文章主要介紹了Python json模塊使用實例,本文給出多個使用代碼實例,需要的朋友可以參考下
2015-04-04
python使用mitmproxy抓取瀏覽器請求的方法
今天小編就為大家分享一篇python使用mitmproxy抓取瀏覽器請求的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-07-07
python打印異常信息的兩種實現(xiàn)方式
今天小編就為大家分享一篇python打印異常信息的兩種實現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-12-12