pytorch 實(shí)現(xiàn)模型不同層設(shè)置不同的學(xué)習(xí)率方式
更新時(shí)間：2020年01月06日 09:52:43 作者：-wxrui-
今天小編就為大家分享一篇pytorch 實(shí)現(xiàn)模型不同層設(shè)置不同的學(xué)習(xí)率方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
在目標(biāo)檢測(cè)的模型訓(xùn)練中， 我們通常都會(huì)有一個(gè)特征提取網(wǎng)絡(luò)backbone， 例如YOLO使用的darknet SSD使用的VGG-16。
為了達(dá)到比較好的訓(xùn)練效果， 往往會(huì)加載預(yù)訓(xùn)練的backbone模型參數(shù)， 然后在此基礎(chǔ)上訓(xùn)練檢測(cè)網(wǎng)絡(luò)， 并對(duì)backbone進(jìn)行微調(diào)， 這時(shí)候就需要為backbone設(shè)置一個(gè)較小的lr。
class net(torch.nn.Module):
def __init__(self):
super(net, self).__init__()
# backbone
self.backbone = ...
# detect
self....
在設(shè)置optimizer時(shí)， 只需要參數(shù)分為兩個(gè)部分， 并分別給定不同的學(xué)習(xí)率lr。
base_params = list(map(id, net.backbone.parameters()))
logits_params = filter(lambda p: id(p) not in base_params, net.parameters())
params = [
{"params": logits_params, "lr": config.lr},
{"params": net.backbone.parameters(), "lr": config.backbone_lr},
]
optimizer = torch.optim.SGD(params, momentum=config.momentum, weight_decay=config.weight_decay)
以上這篇pytorch 實(shí)現(xiàn)模型不同層設(shè)置不同的學(xué)習(xí)率方式就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
利用Python產(chǎn)生加密表和解密表的實(shí)現(xiàn)方法
這篇文章主要介紹了利用Python產(chǎn)生加密表和解密表的實(shí)現(xiàn)方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
這篇文章主要介紹了python如何禁用print輸出問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
python對(duì)象與json相互轉(zhuǎn)換的方法
這篇文章主要介紹了python對(duì)象與json相互轉(zhuǎn)換，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
Python實(shí)現(xiàn)獲取當(dāng)前目錄下文件名代碼詳解
這篇文章主要介紹了Python實(shí)現(xiàn)獲取當(dāng)前目錄下文件名，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-03-03
這篇文章主要介紹了Python?GUI?圖形用戶界面，圖形用戶界面是指采用圖形方式顯示的計(jì)算機(jī)操作用戶界面，詳細(xì)介紹需要的小伙伴可以參考一下下面文章詳情2022-07-07
這篇文章主要介紹了Python中的文本處理,包括從最基本的string模塊的基礎(chǔ)使用和更進(jìn)一步的re模塊的使用,本文來(lái)自IBM官方開(kāi)發(fā)者技術(shù)文檔,需要的朋友可以參考下2015-04-04
PyTorch是由Facebook開(kāi)發(fā)的開(kāi)源機(jī)器學(xué)習(xí)庫(kù),它用于深度神經(jīng)網(wǎng)絡(luò)和自然語(yǔ)言處理,下面這篇文章主要給大家介紹了關(guān)于PyTorch中Torch.arange函數(shù)詳解的相關(guān)資料,需要的朋友可以參考下2023-02-02
PyCharm如何導(dǎo)入python項(xiàng)目的方法
這篇文章主要介紹了PyCharm如何導(dǎo)入python項(xiàng)目的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
python的數(shù)據(jù)與matlab互通問(wèn)題:SciPy
這篇文章主要介紹了python的數(shù)據(jù)與matlab互通問(wèn)題SciPy，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-12-12
詳解Python如何實(shí)現(xiàn)對(duì)比兩個(gè)Excel數(shù)據(jù)差異
這篇文章主要為大家詳細(xì)介紹了Python是如何實(shí)現(xiàn)對(duì)比兩個(gè)Excel數(shù)據(jù)差異的，文中的示例代碼講解詳細(xì)，具有一定的借鑒價(jià)值，需要的可以參考一下2022-12-12