pytorch教程resnet.py的實(shí)現(xiàn)文件源碼分析
調(diào)用pytorch內(nèi)置的模型的方法
import torchvision model = torchvision.models.resnet50(pretrained=True)
這樣就導(dǎo)入了resnet50的預(yù)訓(xùn)練模型了。如果只需要網(wǎng)絡(luò)結(jié)構(gòu)，不需要用預(yù)訓(xùn)練模型的參數(shù)來(lái)初始化
那么就是：
model = torchvision.models.resnet50(pretrained=False)
如果要導(dǎo)入densenet模型也是同樣的道理
比如導(dǎo)入densenet169，且不需要是預(yù)訓(xùn)練的模型：
model = torchvision.models.densenet169(pretrained=False)
由于pretrained參數(shù)默認(rèn)是False，所以等價(jià)于：
model = torchvision.models.densenet169()
不過(guò)為了代碼清晰，最好還是加上參數(shù)賦值。
解讀模型源碼Resnet.py
包含的庫(kù)文件
import torch.nn as nn import math import torch.utils.model_zoo as model_zoo
該庫(kù)定義了6種Resnet的網(wǎng)絡(luò)結(jié)構(gòu)
包括
__all__ = ['ResNet', 'resnet18', 'resnet34', 'resnet50', 'resnet101', 'resnet152']
每種網(wǎng)絡(luò)都有訓(xùn)練好的可以直接用的.pth參數(shù)文件
__all__ = ['ResNet', 'resnet18', 'resnet34', 'resnet50', 'resnet101', 'resnet152']
Resnet中大多使用3*3的卷積定義如下
def conv3x3(in_planes, out_planes, stride=1): """3x3 convolution with padding""" return nn.Conv2d(in_planes, out_planes, kernel_size=3, stride=stride, padding=1, bias=False)
該函數(shù)繼承自nn網(wǎng)絡(luò)中的2維卷積，這樣做主要是為了方便，少寫(xiě)參數(shù)參數(shù)由原來(lái)的6個(gè)變成了3個(gè)
輸出圖與輸入圖長(zhǎng)寬保持一致
如何定義不同大小的Resnet網(wǎng)絡(luò)
Resnet類(lèi)是一個(gè)基類(lèi)，
所謂的"Resnet18", ‘resnet34', ‘resnet50', ‘resnet101', 'resnet152'只是Resnet類(lèi)初始化的時(shí)候使用了不同的參數(shù)，理論上我們可以根據(jù)Resnet類(lèi)定義任意大小的Resnet網(wǎng)絡(luò)
下面先看看這些不同大小的Resnet網(wǎng)絡(luò)是如何定義的
定義Resnet18
def resnet18(pretrained=False, **kwargs):
"""
Constructs a ResNet-18 model.
Args:
pretrained (bool):If True, returns a model pre-trained on ImageNet
"""
model = ResNet(BasicBlock, [2, 2, 2, 2], **kwargs)
if pretrained:
model.load_state_dict(model_zoo.load_url(model_urls['resnet18']))
return model
定義Resnet34
def resnet34(pretrained=False, **kwargs):
"""Constructs a ResNet-34 model.
Args: pretrained (bool): If True, returns a model pre-trained on ImageNet """
model = ResNet(BasicBlock, [3, 4, 6, 3], **kwargs)
if pretrained:
model.load_state_dict(model_zoo.load_url(model_urls['resnet34']))
return model
我們發(fā)現(xiàn)Resnet18和Resnet34的定義幾乎是一樣的,下面我們把Resnet18，Resnet34，Resnet50，Resnet101，Resnet152，不一樣的部分寫(xiě)在一塊進(jìn)行對(duì)比
model = ResNet(BasicBlock, [2, 2, 2, 2], **kwargs) #Resnet18 model = ResNet(BasicBlock, [3, 4, 6, 3], **kwargs) #Resnet34 model = ResNet(Bottleneck, [3, 4, 6, 3], **kwargs) #Eesnt50 model = ResNet(Bottleneck, [3, 4, 23, 3], **kwargs) #Resnet101 model = ResNet(Bottleneck, [3, 8, 36, 3], **kwargs) #Resnet152
代碼看起來(lái)非常的簡(jiǎn)潔工整，
其他resnet18、resnet101等函數(shù)和resnet18基本類(lèi)似，差別主要是在：
1、構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)的時(shí)候block的參數(shù)不一樣，比如resnet18中是[2, 2, 2, 2]，resnet101中是[3, 4, 23, 3]。
2、調(diào)用的block類(lèi)不一樣，比如在resnet50、resnet101、resnet152中調(diào)用的是Bottleneck類(lèi)，而在resnet18和resnet34中調(diào)用的是BasicBlock類(lèi)，這兩個(gè)類(lèi)的區(qū)別主要是在residual結(jié)果中卷積層的數(shù)量不同，這個(gè)是和網(wǎng)絡(luò)結(jié)構(gòu)相關(guān)的，后面會(huì)詳細(xì)介紹。
3、如果下載預(yù)訓(xùn)練模型的話，model_urls字典的鍵不一樣，對(duì)應(yīng)不同的預(yù)訓(xùn)練模型。因此接下來(lái)分別看看如何構(gòu)建網(wǎng)絡(luò)結(jié)構(gòu)和如何導(dǎo)入預(yù)訓(xùn)練模型。
Resnet類(lèi)
構(gòu)建ResNet網(wǎng)絡(luò)是通過(guò)ResNet這個(gè)類(lèi)進(jìn)行的。ResNet類(lèi)是繼承PyTorch中網(wǎng)絡(luò)的基類(lèi)：torch.nn.Module。
構(gòu)建Resnet類(lèi)主要在于重寫(xiě) init() 和 forward() 方法。
我們構(gòu)建的所有網(wǎng)絡(luò)比如：VGG，Alexnet等都需要重寫(xiě)這兩個(gè)方法，這兩個(gè)方法很重要
看起來(lái)Resne類(lèi)是整個(gè)文檔的核心
下面我們就要研究一下Resnet基類(lèi)是如何實(shí)現(xiàn)的
Resnet類(lèi)采用了pytorch定義網(wǎng)絡(luò)模型的標(biāo)準(zhǔn)結(jié)構(gòu)，包含
iinit（）方法： 定義了網(wǎng)絡(luò)的各個(gè)層
forward()方法： 定義了前向傳播過(guò)程
這兩個(gè)方法的用法，這個(gè)可以查看pytorch的官方文檔就可以明白
在Resnet類(lèi)中，還包含一個(gè)自定義的方法make_layer()方法
是用來(lái)構(gòu)建ResNet網(wǎng)絡(luò)中的4個(gè)blocks。
_make_layer方法的第一個(gè)輸入block是Bottleneck或BasicBlock類(lèi)
第二個(gè)輸入是該blocks的輸出channel
第三個(gè)輸入是每個(gè)blocks中包含多少個(gè)residual子結(jié)構(gòu)，因此layers這個(gè)列表就是前面resnet50的[3, 4, 6, 3]。
_make_layer方法中比較重要的兩行代碼是：
layers.append(block(self.inplanes, planes, stride, downsample))
該部分是將每個(gè)blocks的第一個(gè)residual結(jié)構(gòu)保存在layers列表中。
for i in range(1, blocks): layers.append(block(self.inplanes, planes))
該部分是將每個(gè)blocks的剩下residual 結(jié)構(gòu)保存在layers列表中，這樣就完成了一個(gè)blocks的構(gòu)造。這兩行代碼中都是通過(guò)Bottleneck這個(gè)類(lèi)來(lái)完成每個(gè)residual的構(gòu)建
接下來(lái)介紹Bottleneck類(lèi)
class ResNet(nn.Module):
def __init__(self, block, layers, num_classes=1000):
self.inplanes = 64
super(ResNet, self).__init__()
self.conv1 = nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3,
bias=False)
self.bn1 = nn.BatchNorm2d(64)
self.relu = nn.ReLU(inplace=True)
self.maxpool = nn.MaxPool2d(kernel_size=3, stride=2, padding=1)
self.layer1 = self._make_layer(block, 64, layers[0])
self.layer2 = self._make_layer(block, 128, layers[1], stride=2)
self.layer3 = self._make_layer(block, 256, layers[2], stride=2)
self.layer4 = self._make_layer(block, 512, layers[3], stride=2)
self.avgpool = nn.AvgPool2d(7, stride=1)
self.fc = nn.Linear(512 * block.expansion, num_classes)
for m in self.modules():
if isinstance(m, nn.Conv2d):
n = m.kernel_size[0] * m.kernel_size[1] * m.out_channels
m.weight.data.normal_(0, math.sqrt(2. / n))
elif isinstance(m, nn.BatchNorm2d):
m.weight.data.fill_(1)
m.bias.data.zero_()
def _make_layer(self, block, planes, blocks, stride=1):
downsample = None
if stride != 1 or self.inplanes != planes * block.expansion:
downsample = nn.Sequential(
nn.Conv2d(self.inplanes, planes * block.expansion,
kernel_size=1, stride=stride, bias=False),
nn.BatchNorm2d(planes * block.expansion),
)
layers = []
layers.append(block(self.inplanes, planes, stride, downsample))
self.inplanes = planes * block.expansion
for i in range(1, blocks):
layers.append(block(self.inplanes, planes))
return nn.Sequential(*layers)
def forward(self, x):
x = self.conv1(x)
x = self.bn1(x)
x = self.relu(x)
x = self.maxpool(x)
x = self.layer1(x)
x = self.layer2(x)
x = self.layer3(x)
x = self.layer4(x)
x = self.avgpool(x)
x = x.view(x.size(0), -1)
x = self.fc(x)
return x
下面我們分別看看這兩個(gè)過(guò)程：
網(wǎng)絡(luò)的forward過(guò)程
def forward(self, x): #x代表輸入
x = self.conv1(x) #進(jìn)過(guò)卷積層1
x = self.bn1(x) #bn1層
x = self.relu(x) #relu激活
x = self.maxpool(x) #最大池化
x = self.layer1(x) #卷積塊1
x = self.layer2(x) #卷積塊2
x = self.layer3(x) #卷積塊3
x = self.layer4(x) #卷積塊4
x = self.avgpool(x) #平均池化
x = x.view(x.size(0), -1) #二維變成變成一維向量
x = self.fc(x) #全連接層
return x
里面的大部分我們都可以理解，只有l(wèi)ayer1-layer4是Resnet網(wǎng)絡(luò)自己定義的，
它也是Resnet殘差連接的精髓所在，我們來(lái)分析一下layer層是怎么實(shí)現(xiàn)的
殘差Block連接是如何實(shí)現(xiàn)的
從前面的ResNet類(lèi)可以看出，在構(gòu)造ResNet網(wǎng)絡(luò)的時(shí)候，最重要的是 BasicBlock這個(gè)類(lèi)，因?yàn)镽esNet是由residual結(jié)構(gòu)組成的，而 BasicBlock類(lèi)就是完成residual結(jié)構(gòu)的構(gòu)建。同樣 BasicBlock還是繼承了torch.nn.Module類(lèi)，且重寫(xiě)了__init__()和forward()方法。從forward方法可以看出，bottleneck就是我們熟悉的3個(gè)主要的卷積層、BN層和激活層，最后的out += residual就是element-wise add的操作。
這部分在 BasicBlock類(lèi)中實(shí)現(xiàn)，我們看看這層是如何前向傳播的
def forward(self, x):
residual = x
out = self.conv1(x)
out = self.bn1(out)
out = self.relu(out)
out = self.conv2(out)
out = self.bn2(out)
if self.downsample is not None:
residual = self.downsample(x)
out += residual
out = self.relu(out)
return out
我畫(huà)個(gè)流程圖來(lái)表示一下
畫(huà)的比較丑，不過(guò)基本意思在里面了，
根據(jù)論文的描述，x是否需要下采樣由x與out是否大小一樣決定，
假如進(jìn)過(guò)conv2和bn2后的結(jié)果我們稱(chēng)之為 P
假設(shè)x的大小為wHchannel1
如果P的大小也是wHchannel1
則無(wú)需下采樣
out = relu(P + X)
out的大小為W * H *(channel1+channel2)，
如果P的大小是W/2 * H/2 * channel
則X需要下采樣后才能與P相加，
out = relu(P+ X下采樣)
out的大小為W/2 * H/2 * (channel1+channel2)
BasicBlock類(lèi)和Bottleneck類(lèi)類(lèi)似，前者主要是用來(lái)構(gòu)建ResNet18和ResNet34網(wǎng)絡(luò)，因?yàn)檫@兩個(gè)網(wǎng)絡(luò)的residual結(jié)構(gòu)只包含兩個(gè)卷積層，沒(méi)有Bottleneck類(lèi)中的bottleneck概念。因此在該類(lèi)中，第一個(gè)卷積層采用的是kernel_size=3的卷積，就是我們之前提到的conv3x3函數(shù)。
下面是BasicBlock類(lèi)的完整代碼
class BasicBlock(nn.Module):
expansion = 1
def __init__(self, inplanes, planes, stride=1, downsample=None):
super(BasicBlock, self).__init__()
self.conv1 = conv3x3(inplanes, planes, stride)
self.bn1 = nn.BatchNorm2d(planes)
self.relu = nn.ReLU(inplace=True)
self.conv2 = conv3x3(planes, planes)
self.bn2 = nn.BatchNorm2d(planes)
self.downsample = downsample
self.stride = stride
def forward(self, x):
residual = x
out = self.conv1(x)
out = self.bn1(out)
out = self.relu(out)
out = self.conv2(out)
out = self.bn2(out)
if self.downsample is not None:
residual = self.downsample(x)
out += residual
out = self.relu(out)
return out
以上就是pytorch教程resnet.py的實(shí)現(xiàn)文件源碼解讀的詳細(xì)內(nèi)容，更多關(guān)于pytorch源碼解讀的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
- pytorch如何利用ResNet18進(jìn)行手寫(xiě)數(shù)字識(shí)別
- pytorch常用函數(shù)定義及resnet模型修改實(shí)例
- Pytorch深度學(xué)習(xí)經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)resnet模塊訓(xùn)練
- 聊聊基于pytorch實(shí)現(xiàn)Resnet對(duì)本地?cái)?shù)據(jù)集的訓(xùn)練問(wèn)題
- 人工智能學(xué)習(xí)pyTorch的ResNet殘差模塊示例詳解
- 詳解利用Pytorch實(shí)現(xiàn)ResNet網(wǎng)絡(luò)之評(píng)估訓(xùn)練模型
相關(guān)文章
Python自動(dòng)化開(kāi)發(fā)學(xué)習(xí)之三級(jí)菜單制作
這篇文章主要為大家詳細(xì)介紹了Python自動(dòng)化開(kāi)發(fā)學(xué)習(xí)之三級(jí)菜單的制作方法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-07-07
Python MongoDB 插入數(shù)據(jù)時(shí)已存在則不執(zhí)行，不存在則插入的解決方法
這篇文章主要介紹了Python MongoDB 插入數(shù)據(jù)時(shí)已存在則不執(zhí)行，不存在則插入的解決方法,結(jié)合實(shí)例形式分析了Python基于日志判斷數(shù)據(jù)是否已經(jīng)插入的相關(guān)操作技巧,需要的朋友可以參考下2019-09-09
Django框架登錄加上驗(yàn)證碼校驗(yàn)實(shí)現(xiàn)驗(yàn)證功能示例
這篇文章主要介紹了Django框架登錄加上驗(yàn)證碼校驗(yàn)實(shí)現(xiàn)驗(yàn)證功能,結(jié)合實(shí)例形式分析了Django框架基于Pillow模塊的圖形驗(yàn)證碼生成與使用相關(guān)操作技巧,需要的朋友可以參考下2019-05-05
這篇文章主要介紹了python獲取遠(yuǎn)程圖片大小和尺寸的方法,實(shí)例分析了Python中urllib2.urlopen方法及圖片操作技巧,需要的朋友可以參考下2015-03-03
一文詳解如何使用Python實(shí)時(shí)輸出鼠標(biāo)坐標(biāo)
本文詳細(xì)介紹了如何使用Python中的pynput庫(kù)來(lái)實(shí)時(shí)獲取并輸出鼠標(biāo)的坐標(biāo)信息,通過(guò)pynput庫(kù),可以輕松實(shí)現(xiàn)對(duì)鼠標(biāo)坐標(biāo)的跟蹤,適用于需要鼠標(biāo)交互的應(yīng)用場(chǎng)景,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-10-10
在本篇內(nèi)容里小編給大家整理的是一篇關(guān)于python Pool常用函數(shù)用法總結(jié)內(nèi)容，有需要的朋友們可以學(xué)習(xí)下。2021-04-04
這篇文章主要介紹了Python批量處理csv并保存過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-05-05
Python圖像處理庫(kù)PIL的ImageFilter模塊使用介紹
這篇文章主要介紹了Python圖像處理庫(kù)PIL的ImageFilter模塊使用介紹，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
利用Python裁切tiff圖像且讀取tiff,shp文件的實(shí)例
這篇文章主要介紹了利用Python裁切tiff圖像且讀取tiff,shp文件的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03
python+selenium 點(diǎn)擊單選框-radio的實(shí)現(xiàn)方法
今天小編就為大家分享一篇python+selenium 點(diǎn)擊單選框-radio的實(shí)現(xiàn)方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-09-09