淺談pytorch torch.backends.cudnn設(shè)置作用
cuDNN使用非確定性算法,并且可以使用torch.backends.cudnn.enabled = False來(lái)進(jìn)行禁用
如果設(shè)置為torch.backends.cudnn.enabled =True,說(shuō)明設(shè)置為使用使用非確定性算法
然后再設(shè)置:
torch.backends.cudnn.benchmark = true
那么cuDNN使用的非確定性算法就會(huì)自動(dòng)尋找最適合當(dāng)前配置的高效算法,來(lái)達(dá)到優(yōu)化運(yùn)行效率的問題
一般來(lái)講,應(yīng)該遵循以下準(zhǔn)則:
如果網(wǎng)絡(luò)的輸入數(shù)據(jù)維度或類型上變化不大,設(shè)置 torch.backends.cudnn.benchmark = true 可以增加運(yùn)行效率;
如果網(wǎng)絡(luò)的輸入數(shù)據(jù)在每次 iteration 都變化的話,會(huì)導(dǎo)致 cnDNN 每次都會(huì)去尋找一遍最優(yōu)配置,這樣反而會(huì)降低運(yùn)行效率。
所以我們經(jīng)??匆娫诖a開始出兩者同時(shí)設(shè)置:
torch.backends.cudnn.enabled = True
torch.backends.cudnn.benchmark = True
以上這篇淺談pytorch torch.backends.cudnn設(shè)置作用就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
python print出共軛復(fù)數(shù)的方法詳解
在本篇內(nèi)容里小編給大家分享的是關(guān)于python print出共軛復(fù)數(shù)的方法總結(jié)內(nèi)容,有需要的讀者們可以學(xué)習(xí)下。2019-06-06
Python腳本修改Maya ASCII文件路徑方法實(shí)現(xiàn)
本文主要介紹了Python腳本修改Maya ASCII文件路徑方法實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02
Django項(xiàng)目中包含多個(gè)應(yīng)用時(shí)對(duì)url的配置方法
今天小編就為大家分享一篇Django項(xiàng)目中包含多個(gè)應(yīng)用時(shí)對(duì)url的配置方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧2018-05-05
Python跑循環(huán)時(shí)內(nèi)存泄露的解決方法
這篇文章主要介紹了Python跑循環(huán)時(shí)內(nèi)存泄露的解決方法,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01
50行代碼實(shí)現(xiàn)貪吃蛇(具體思路及代碼)
在50行代碼內(nèi)來(lái)實(shí)現(xiàn)一個(gè)貪吃蛇,具體實(shí)現(xiàn)代碼如下,感興趣的朋友可以參考下哈,希望可以幫助到你2013-04-04
Python實(shí)現(xiàn)二分法算法實(shí)例
這篇文章主要介紹了Python實(shí)現(xiàn)二分法算法實(shí)例,本文先是介紹了算法規(guī)則,然后給出了實(shí)現(xiàn)例子,需要的朋友可以參考下2015-02-02

