pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例
更新時(shí)間：2019年12月31日 08:40:36 作者：益達(dá)888
今天小編就為大家分享一篇pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
一. 指定一個(gè)gpu訓(xùn)練的兩種方法：
1.代碼中指定
import torch torch.cuda.set_device(id)
2.終端中指定
CUDA_VISIBLE_DEVICES=1 python 你的程序
其中id就是你的gpu編號(hào)
二. 多gpu并行訓(xùn)練：
torch.nn.DataParallel(module, device_ids=None, output_device=None, dim=0)
該函數(shù)實(shí)現(xiàn)了在module級(jí)別上的數(shù)據(jù)并行使用，注意batch size要大于GPU的數(shù)量。
參數(shù) ：
module：需要多GPU訓(xùn)練的網(wǎng)絡(luò)模型
device_ids： GPU的編號(hào)（默認(rèn)全部GPU，或[0,1] ,[0,1,2]）
output_device：（默認(rèn)是device_ids[0])
dim：tensors被分散的維度，默認(rèn)是0
在保存模型時(shí)要注意要加上"module",例如：
network.module.state_dict()
以上這篇pytorch 指定gpu訓(xùn)練與多gpu并行訓(xùn)練示例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
在本篇文章小編給大家整理的是關(guān)于Django的CVB實(shí)例詳解內(nèi)容，有需要的朋友們可以跟著學(xué)習(xí)下。2020-02-02
Python使用多進(jìn)程運(yùn)行含有任意個(gè)參數(shù)的函數(shù)
這篇文章主要介紹了Python使用多進(jìn)程運(yùn)行含有任意個(gè)參數(shù)的函數(shù)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
這篇文章主要介紹了python實(shí)現(xiàn)的漢諾塔算法,結(jié)合實(shí)例形式分析了漢諾塔算法的原理、實(shí)現(xiàn)方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2019-10-10
最近在做項(xiàng)目的時(shí)候，突然想到的這個(gè)問(wèn)題，覺(jué)得比較有趣，就實(shí)際測(cè)試了一下，考慮到以后可能會(huì)有用，就總結(jié)下來(lái)寫(xiě)了這篇文章，剛興趣的朋友們可以參考學(xué)習(xí)下，下面來(lái)跟著小編一起看看吧。2016-12-12
python之隨機(jī)數(shù)函數(shù)的實(shí)現(xiàn)示例
這篇文章主要介紹了python之隨機(jī)數(shù)函數(shù)的實(shí)現(xiàn)示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
這篇文章主要介紹了一篇文章快速了解Python的GIL，具有一定借鑒價(jià)值,需要的朋友可以參考下2018-01-01
Python中關(guān)于浮點(diǎn)數(shù)的冷知識(shí)
這篇文章主要給大家介紹了Python中關(guān)于浮點(diǎn)數(shù)的冷知識(shí)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
這篇文章主要介紹了Python編寫(xiě)屏幕截圖程序方法,本文講解使用開(kāi)源程序pywin32實(shí)現(xiàn)屏幕截圖和讀取剪切板功能,需要的朋友可以參考下2015-02-02
flask框架實(shí)現(xiàn)修改密碼和免密登錄功能
flask是python web開(kāi)發(fā)的常用框架之一。本文將講述flask如何實(shí)現(xiàn)修改密碼和免密登錄功能2021-05-05
Python利用FFT進(jìn)行簡(jiǎn)單濾波的實(shí)現(xiàn)
今天小編就為大家分享一篇Python利用FFT進(jìn)行簡(jiǎn)單濾波的實(shí)現(xiàn)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02