pytorch中Dropout的具體用法

更新時間：2025年12月24日 09:48:47 作者：byxdaz

Dropout是一種常用的正則化技術(shù),用于防止神經(jīng)網(wǎng)絡(luò)過擬合,PyTorch 提供了nn.Dropout層來實現(xiàn)這一功能,下面就來介紹一下如何使用,感興趣的可以了解一下

基本用法

torch.nn.Dropout(p=0.5, inplace=False)

參數(shù)說明：

p (float): 每個元素被置為0的概率（默認0.5）
inplace (bool): 是否原地操作（默認False）

工作原理

在前向傳播時，Dropout 會以概率 p 隨機將輸入張量的某些元素置為0
未被置0的元素會被縮放為 1/(1-p) 倍（為了保持訓(xùn)練和測試時的期望值一致）
在評估模式（eval()）下，Dropout 層不會執(zhí)行任何操作

在訓(xùn)練時，Dropout 的輸出可以表示為：

其中 mm 是一個伯努利隨機變量矩陣（元素為0或1），pp 是dropout概率。

在測試時，模型直接使用原始輸入：

使用示例

1. 基本使用

import torch
import torch.nn as nn

# 創(chuàng)建Dropout層，置0概率為0.3
dropout = nn.Dropout(p=0.3)

# 創(chuàng)建一個隨機輸入
input = torch.randn(5, 3)
print("原始輸入:\n", input)

# 訓(xùn)練模式下的輸出
output = dropout(input)
print("\nDropout輸出:\n", output)

2. 在神經(jīng)網(wǎng)絡(luò)中使用

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(784, 512)
        self.dropout = nn.Dropout(p=0.2)  # 20%的dropout
        self.fc2 = nn.Linear(512, 10)
        
    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # 應(yīng)用dropout
        x = self.fc2(x)
        return x

3. 訓(xùn)練和評估模式切換

model = Net()

# 訓(xùn)練模式（啟用dropout）
model.train()
output_train = model(torch.randn(1, 784))

# 評估模式（禁用dropout）
model.eval()
output_eval = model(torch.randn(1, 784))