pytorch 實現(xiàn)凍結(jié)部分參數(shù)訓(xùn)練另一部分
1）添加下面一句話到模型中
for p in self.parameters(): p.requires_grad = False
比如加載了resnet預(yù)訓(xùn)練模型之后，在resenet的基礎(chǔ)上連接了新的?？?，resenet模塊那部分可以先暫時凍結(jié)不更新，只更新其他部分的參數(shù)，那么可以在下面加入上面那句話
class RESNET_MF(nn.Module): def __init__(self, model, pretrained): super(RESNET_MF, self).__init__() self.resnet = model(pretrained) for p in self.parameters(): p.requires_grad = False #預(yù)訓(xùn)練模型加載進(jìn)來后全部設(shè)置為不更新參數(shù)，然后再后面加層 self.f = SpectralNorm(nn.Conv2d(2048, 512, 1)) self.g = SpectralNorm(nn.Conv2d(2048, 512, 1)) self.h = SpectralNorm(nn.Conv2d(2048, 2048, 1)) ...
同時在優(yōu)化器中添加：
filter(lambda p: p.requires_grad, model.parameters())
optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=0.001, \ betas=(0.9, 0.999), eps=1e-08, weight_decay=1e-5)
2) 參數(shù)保存在有序的字典中，那么可以通過查找參數(shù)的名字對應(yīng)的id值，進(jìn)行凍結(jié)
查看每一層的代碼:
model_dict = torch.load('net.pth.tar').state_dict()
dict_name = list(model_dict)
for i, p in enumerate(dict_name):
print(i, p)
打印一下這個文件，可以看到大致是這個樣子的：
0 gamma 1 resnet.conv1.weight 2 resnet.bn1.weight 3 resnet.bn1.bias 4 resnet.bn1.running_mean 5 resnet.bn1.running_var 6 resnet.layer1.0.conv1.weight 7 resnet.layer1.0.bn1.weight 8 resnet.layer1.0.bn1.bias 9 resnet.layer1.0.bn1.running_mean ....
同樣在模型中添加這樣的代碼：
for i,p in enumerate(net.parameters()): if i < 165: p.requires_grad = False
在優(yōu)化器中添加上面的那句話可以實現(xiàn)參數(shù)的屏蔽
補充：pytorch 加載預(yù)訓(xùn)練模型 + 斷點恢復(fù) + 凍結(jié)訓(xùn)練（避坑版本）
1、 預(yù)訓(xùn)練模型網(wǎng)絡(luò)結(jié)構(gòu) = 你要加載模型的網(wǎng)絡(luò)結(jié)構(gòu)
那么直接 套用
path="你的 .pt文件路徑" model = "你的網(wǎng)絡(luò)" checkpoint = torch.load(path, map_location=device) model.load_state_dict(checkpoint)
2、 預(yù)訓(xùn)練模型網(wǎng)絡(luò)結(jié)構(gòu) 與你的網(wǎng)絡(luò)結(jié)構(gòu)不一致
當(dāng)你直接套用上面公式，會出現(xiàn)類似unexpected key module.xxx.weight問題
這種情況下，需要具體分析一下網(wǎng)絡(luò)信息，再決定如何加載。
# model_dict 是一個字典，保存網(wǎng)絡(luò) 各層名稱和參數(shù)， model_dict = model.state_dict() print(model_dict.keys() # 這里打印出 網(wǎng)絡(luò) 各層名稱
checkpoint = torch.load(path,map_location=device)
for k, v in checkpoint.items():
print("keys:".k)
# 這里打印出 預(yù)訓(xùn)練模型網(wǎng)絡(luò) 各層名稱, 是字典 【鍵】顯示的另一種方式。
然后，對比兩者網(wǎng)絡(luò)結(jié)構(gòu)參數(shù) 的異同，
若各層網(wǎng)絡(luò)名稱 基本不一致，那這個預(yù)訓(xùn)練模型基本就沒法用了，直接換模型吧
若兩者網(wǎng)絡(luò)參數(shù)有很多 類似的地方，但又不完全一致，那可以采取如下方式。
(1) 部分網(wǎng)絡(luò)關(guān)鍵字 ---- 完全匹配的情況
model.load_state_dict(checkpoint, strict=True)
load_state_dict 函數(shù)添加 參數(shù) strict=True， 它直接忽略那些沒有的dict，有相同的就復(fù)制，沒有就直接放棄賦值！他要求預(yù)訓(xùn)練模型的關(guān)鍵字必須確切地嚴(yán)格地和 網(wǎng)絡(luò)的 state_dict() 函數(shù)返回的關(guān)鍵字相匹配才能賦值。
strict 也不是很智能，適用于那些 網(wǎng)絡(luò)關(guān)鍵字 基本能夠匹配的情況。否則即使加載成功，網(wǎng)絡(luò)參數(shù)也是空的。
（2）大部分網(wǎng)絡(luò)關(guān)鍵字 ---- 部分匹配 （不完全相同，但類似），例如
網(wǎng)絡(luò)關(guān)鍵字： backbone.stage0.rbr_dense.conv.weight
預(yù)訓(xùn)練模型 關(guān)鍵字：stage0.rbr_dense.conv.weight
可以看到，網(wǎng)絡(luò)關(guān)鍵字 比預(yù)訓(xùn)練模型 多了一個前綴，其它完全一致，這種情況下，可以把 預(yù)訓(xùn)練模型的 stage0.rbr_dense.conv.weight 讀入 網(wǎng)絡(luò)的 backbone.stage0.rbr_dense.conv.weight 中。
# 對于 字典而言，in 或 not in 運算符都是基于 key 來判斷的 model_dict = model.state_dict() checkpoint = torch.load(path,map_location=device) # k 是預(yù)訓(xùn)練模型的一個關(guān)鍵字， ss是 網(wǎng)絡(luò)的有一個關(guān)鍵字 for k, v in checkpoint.items(): flag = False for ss in model_dict.keys(): if k in ss: # 在每一個元素內(nèi)部匹配 s = ss; flag = True; break else: continue if flag: checkpoint[k] = model_dict[s]
3、斷點恢復(fù)
我感覺這個和常規(guī)【模型保存加載】方法的區(qū)別主要是 epoch的恢復(fù)
# 模型保存
state = {
'epoch': epoch,
'state_dict': model.state_dict(),
'optimizer': optimizer.state_dict(),
... # 有其他希望保存的內(nèi)容，也可自定義
}
torch.save(state, filepath)
# 加載模型，恢復(fù)訓(xùn)練
model.load_state_dict(state['state_dict'])
optimizer.load_state_dict(state['optimizer'])
start_epoch = checkpoint['epoch'] + 1
4、凍結(jié)訓(xùn)練
一般凍結(jié)訓(xùn)練都是針對【backbone】來說的，較多應(yīng)用于【遷移學(xué)習(xí)】
例如，0-49 Epoch：凍結(jié) backbone進(jìn)行訓(xùn)練；50-99：不凍結(jié)訓(xùn)練。
Init_Epoch = 0 Freeze_Epoch = 50 Unfreeze_Epoch =100 #------------------------------------# # 凍結(jié)一定部分訓(xùn)練 #------------------------------------# for param in model.backbone.parameters(): param.requires_grad = False for epoch in range(Init_Epoch,Freeze_Epoch): # I`m Freeze-training !! pass #------------------------------------# # 解凍后訓(xùn)練 #------------------------------------# for param in model.backbone.parameters(): param.requires_grad = True for epoch in range(Freeze_Epoch,Unfreeze_Epoch): # I`m unfreeze-training !! pass
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
這篇文章主要介紹了Python中random模塊用法,實例分析了Python中random模塊的使用技巧及字符串操作相關(guān)方法,需要的朋友可以參考下2015-05-05
這篇文章主要介紹了Python Queue模塊詳解,需要的朋友可以參考下2014-11-11
python之openpyxl模塊的安裝和基本用法（excel管理）
這篇文章主要給大家介紹了關(guān)于python之openpyxl模塊的安裝和基本用法的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
Python詳細(xì)對比講解break和continue區(qū)別
這篇文章主要介紹了python循環(huán)控制語句 break 與 continue，break就像是終止按鍵，不管執(zhí)行到哪一步，只要遇到break，不管什么后續(xù)步驟，直接跳出當(dāng)前循環(huán)2022-06-06
這篇文章主要介紹了python中的路徑拼接問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-03-03
這篇文章主要介紹了Python基于Opencv識別兩張相似圖片的步驟，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-04-04
在本篇文章里小編給大家整理的是一篇關(guān)于python線程池的四種好處歸納內(nèi)容，有興趣的朋友們可以學(xué)習(xí)下。2021-04-04
今天小編就為大家分享一篇解決Python中定時任務(wù)線程無法自動退出的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
這篇文章主要介紹了python實現(xiàn)每次處理一個字符的三種方法,是非常實用的字符串操作技巧,需要的朋友可以參考下2014-10-10
本文主要介紹了python 一些常用的小腳本，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2007-10-10