pytorch 限制GPU使用效率詳解(計算效率)
問題
用過 tensorflow 的人都知道， tf 可以限制程序在 GPU 中的使用效率，但 pytorch 中沒有這個操作。
思路
于是我想到了一個代替方法，玩過單片機點燈的同學(xué)都知道，燈的亮度是靠占空比實現(xiàn)的，這實際上也是計算機的運行原理。 那我們是不是也可以通過增加 GPU 不工作的時間，進(jìn)而降低 GPU 的使用效率 ？
主要代碼
import time ... rest_time = 0.15 ... for _ in range( XXX ): ... outputs = all_GPU_operations( data_set ) # 假設(shè)所有的GPU運算都在這里 time.sleep( rest_time ) # 讓顯卡休息一會再進(jìn)行下個循環(huán)的使用 ... ...
這樣子 GPU 的使用效率就可以減小了。
rest_time 的越大 GPU 使用率越低，rest_time 的越小 GPU 使用率越高。
缺點是很難直接控制 GPU 的具體使用率，rest_time 得自己調(diào)試后確定。
補充知識：深度學(xué)習(xí)PyTorch，TensorFlow中GPU利用率較低,使用率周期性變化的問題
在用tensorflow訓(xùn)練神經(jīng)網(wǎng)絡(luò)時,發(fā)現(xiàn)訓(xùn)練迭代的速度時而快時而慢,監(jiān)督的GPU使用率也是周期性變化,通過了解,發(fā)現(xiàn)原因是:
GPU在等待CPU讀取,預(yù)處理,并傳輸數(shù)據(jù)過來,因此要提高GPU的使用率,降低GPU的等待時間,需要加快CPU的處理速度.
在PYTORCH中的解決方案是用torch.utils.data.DataLoader,用num_workers設(shè)置線程數(shù):
torch.utils.data.DataLoader(image_datasets[x], batch_size=batch_size, shuffle=True, num_workers=8, pin_memory=True)
在tensorflow中的解決方案是用tf.data.Dataset.map(num_parallel_calls=8)中的num_parallel_calls設(shè)置讀取數(shù)據(jù)的線程數(shù):
用 tf.data讀取數(shù)據(jù), tf.data.Dataset中有一個map函數(shù),它有個num_parallel_calls參數(shù),可以控制CPU的線程,加快數(shù)據(jù)的讀取速度,一般將線程設(shè)置為8效果最好.
以上這篇pytorch 限制GPU使用效率詳解(計算效率)就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家介紹了OpenAI?Function?Calling特性作用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-07-07
Python?class類@staticmethod及@classmethod區(qū)別淺析
這篇文章主要為大家介紹了Python?class類@staticmethod及@classmethod區(qū)別淺析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-07-07
這篇文章主要為大家詳細(xì)介紹了Python實現(xiàn)圖形用戶界面計算器，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-07-07
學(xué)習(xí)Python時新手可能會遇到縮進(jìn)錯誤、忘記引入模塊、使用未定義的變量、變量作用域理解不當(dāng)、字符串格式化錯誤等問題,本文詳細(xì)介紹了這些常見陷阱及其解決方案,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-10-10
這篇文章主要介紹了Python存取XML的常見方法,結(jié)合具體實例形式較為詳細(xì)的分析了Python存取xml的常用方法、優(yōu)缺點比較與相關(guān)注意事項,需要的朋友可以參考下2017-03-03
python 利用matplotlib在3D空間中繪制平面的案例
這篇文章主要介紹了python 利用matplotlib在3D空間中繪制平面的案例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-02-02
如何使用selenium和requests組合實現(xiàn)登錄頁面
這篇文章主要介紹了如何使用selenium和requests組合實現(xiàn)登錄頁面,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了Python3 合并二叉樹的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09
python中向二維數(shù)組中添加整行或者增列元素問題
這篇文章主要介紹了python中向二維數(shù)組中添加整行或者增列元素問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-01-01
這篇文章主要介紹了python實現(xiàn)合并兩個數(shù)組的方法,實例分析了兩種常用的合并數(shù)組的技巧,非常簡單實用,需要的朋友可以參考下2015-05-05