pytorch如何凍結(jié)某層參數(shù)的實(shí)現(xiàn)

更新時(shí)間：2020年01月10日 11:15:01 作者：Pr4da

這篇文章主要介紹了pytorch如何凍結(jié)某層參數(shù)的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

在遷移學(xué)習(xí)finetune時(shí)我們通常需要凍結(jié)前幾層的參數(shù)不參與訓(xùn)練，在Pytorch中的實(shí)現(xiàn)如下：

class Model(nn.Module):
 def __init__(self):
  super(Transfer_model, self).__init__()
  self.linear1 = nn.Linear(20, 50)
  self.linear2 = nn.Linear(50, 20)
  self.linear3 = nn.Linear(20, 2)

 def forward(self, x):
 pass

假如我們想要凍結(jié)linear1層，需要做如下操作：

model = Model()
# 這里是一般情況，共享層往往不止一層，所以做一個(gè)for循環(huán)
for para in model.linear1.parameters():
 para.requires_grad = False
# 假如真的只有一層也可以這樣操作：
# model.linear1.weight.requires_grad = False

最后我們需要將需要優(yōu)化的參數(shù)傳入優(yōu)化器，不需要傳入的參數(shù)過濾掉，所以要用到filter()函數(shù)。

optimizer = optim.Adam(filter(lambda p: p.requires_grad, model.parameters()), lr=0.1)

其它的博客中都沒有講解filter()函數(shù)的作用，在這里我簡單講一下有助于更好的理解。

filter(function, iterable)

function: 判斷函數(shù)
iterable: 可迭代對象

filter() 函數(shù)用于過濾序列，過濾掉不符合條件的元素，返回一個(gè)迭代器對象，如果要轉(zhuǎn)換為列表，可以使用 list() 來轉(zhuǎn)換。

該接收兩個(gè)參數(shù)，第一個(gè)為函數(shù)，第二個(gè)為序列，序列的每個(gè)元素作為參數(shù)傳遞給函數(shù)進(jìn)行判，然后返回 True 或 False，最后將返回 True 的元素放到新列表中。

filter()函數(shù)將requires_grad = True的參數(shù)傳入優(yōu)化器進(jìn)行反向傳播，requires_grad = False的則被過濾掉。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

詳解Python用三種方式統(tǒng)計(jì)詞頻的方法
這篇文章主要介紹了Python用三種方式統(tǒng)計(jì)詞頻，每種方法給大家介紹的非常詳細(xì),需要的朋友可以參考下
2019-07-07
詳談tensorflow gfile文件的用法
今天小編就為大家分享一篇詳談tensorflow gfile文件的用法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-02-02
Python中常用的GUI(圖形用戶界面)庫用法詳細(xì)介紹
GUI圖形用戶界面是一種允許用戶通過圖形元素（如圖標(biāo)、按鈕、窗口等）與電子設(shè)備進(jìn)行交互的用戶界面,下面這篇文章主要給大家介紹了關(guān)于Python中常用的GUI(圖形用戶界面)庫用法的相關(guān)資料,需要的朋友可以參考下
2024-08-08
Python內(nèi)置函數(shù)input()示例詳解
input()函數(shù)是Python中用于獲取用戶輸入的一個(gè)簡單而強(qiáng)大的工具,它在創(chuàng)建需要用戶交互的程序時(shí)非常有用,這篇文章主要介紹了Python內(nèi)置函數(shù)input()詳解,需要的朋友可以參考下
2024-04-04
Python drop方法刪除列之inplace參數(shù)實(shí)例
這篇文章主要介紹了Python drop方法刪除列之inplace參數(shù)實(shí)例，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-06-06
PyTorch中permute的基本用法示例
pytorch中的permute就像是numpy中的transpose()函數(shù)一樣,根據(jù)指定的維度進(jìn)行轉(zhuǎn)置,下面這篇文章主要給大家介紹了關(guān)于PyTorch中permute的基本用法,需要的朋友可以參考下
2022-04-04
Python Web開發(fā)模板引擎優(yōu)缺點(diǎn)總結(jié)
這篇文章主要介紹了Python Web開發(fā)模板引擎優(yōu)缺點(diǎn)總結(jié),需要的朋友可以參考下
2014-05-05
python遍歷路徑破解表單的示例
這篇文章主要介紹了python遍歷路徑破解表單的示例，幫助大家更好的理解和使用python，感興趣的朋友可以了解下
2020-11-11
Python的Flask框架應(yīng)用調(diào)用Redis隊(duì)列數(shù)據(jù)的方法
這里為大家?guī)鞵ython的Flask框架應(yīng)用調(diào)用Redis隊(duì)列數(shù)據(jù)的方法,從而能夠?qū)崿F(xiàn)異步無阻塞從而提高某些實(shí)時(shí)處理情況下程序的性能,需要的朋友可以參考下
2016-06-06
python 上下文管理器使用方法小結(jié)
本文介紹了Python中的上下文管理器，以及如何結(jié)合with語句來使用上下文管理器，并且總結(jié)了一下with 語句的執(zhí)行流程。在很多情況下，with語句可以簡化代碼，并增加代碼的健壯性。
2017-10-10