簡述python&pytorch 隨機種子的實現(xiàn)
隨機數(shù)廣泛應用在科學研究, 但是計算機無法產(chǎn)生真正的隨機數(shù), 一般成為偽隨機數(shù). 它的產(chǎn)生過程: 給定一個隨機種子(一個正整數(shù)), 根據(jù)隨機算法和種子產(chǎn)生隨機序列. 給定相同的隨機種子, 計算機產(chǎn)生的隨機數(shù)列是一樣的(這也許是偽隨機的原因).
隨機種子是什么？
隨機種子是針對隨機方法而言的。
隨機方法：常見的隨機方法有 生成隨機數(shù)，以及其他的像 隨機排序 之類的，后者本質(zhì)上也是基于生成隨機數(shù)來實現(xiàn)的。在深度學習中，比較常用的隨機方法的應用有：網(wǎng)絡的隨機初始化，訓練集的隨機打亂等。
隨機種子的取值范圍？
可以是任意數(shù)字，如10，1000
python random
下面以python的random函數(shù)為例, 做了一個測試.
當用戶未指定隨機種子, 系統(tǒng)默認隨機生成, 一般與系統(tǒng)當前時間有關.用戶指定隨機種子后, 使用隨機函數(shù)產(chǎn)生的隨機數(shù)可以復現(xiàn).種子確定后, 每次使用隨機函數(shù)相當于從隨機序列去獲取隨機數(shù), 每次獲取的隨機數(shù)是不同的.
pytorch
使用pytorch復現(xiàn)效果時, 總是無法做到完全的復現(xiàn). 同一份代碼運行兩次, 有時結果差異很大. 這是由于算法中的隨機性導致的. 要想每次獲得的結果一致, 必須固定住隨機種子. 首先, 我們需要找到算法在哪里使用了隨機性, 再相應的固定住隨機種子.
def seed_torch():
seed = 1024 # 用戶設定
# seed = int(time.time()*256)
# 保存隨機種子
with open('seed.txt', 'w') as f:
f.write(str(seed))
random.seed(seed)
os.environ['PYTHONHASHSEED'] = str(seed)
np.random.seed(seed)
torch.manual_seed(seed)
torch.cuda.manual_seed(seed)
torch.cuda.manual_seed_all(seed)
torch.backends.cudnn.benchmark = False
torch.backends.cudnn.deterministic = True
seed_torch()
上面的代碼固定了pytorch常用的隨機種子, 但是如果你在預處理中涉及了隨機性, 也需要固定住.
為了復現(xiàn)結果, 我們固定住了隨機種子. 但pytorch訓練模型時, 不同的隨機種子會產(chǎn)生不同的結果. 每次使用固定的隨機種子, 可能錯失好的結果. 為此, 我們可以每次使用不一樣的隨機種子, 并保存下來
到此這篇關于簡述python&pytorch 隨機種子的實現(xiàn)的文章就介紹到這了,更多相關pytorch 隨機種子內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要介紹了python使用glob檢索文件的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
初學者經(jīng)常會遇到如何移除list中重復元素的問題。 這個問題在其他語言中可能需要for循環(huán)什么的，而在python中不用這樣，非常簡單，下面來通過這篇文章主要介紹了關于python列表去重方法以及拓展,需要的朋友可以參考借鑒，一起來看看吧。2017-01-01
今天小編就為大家分享一篇在django admin中添加自定義視圖的例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-07-07
Python兩個整數(shù)相除得到浮點數(shù)值的方法
這篇文章主要介紹了Python兩個整數(shù)相除得到浮點數(shù)值的方法,本文直接給出代碼示例,需要的朋友可以參考下2015-03-03
一篇文章教你掌握python數(shù)據(jù)類型的底層實現(xiàn)
這篇文章主要介紹了Python 數(shù)據(jù)類型的底層實現(xiàn)原理分析，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-09-09
今天小編就為大家分享一篇dpn網(wǎng)絡的pytorch實現(xiàn)方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
這篇文章主要為大家介紹了flask與數(shù)據(jù)庫的交互操作示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-08-08
Python實現(xiàn)模擬登錄網(wǎng)易郵箱的方法示例
這篇文章主要介紹了Python實現(xiàn)模擬登錄網(wǎng)易郵箱的方法,結合實例形式分析了Python基于urllib2及cookielib模塊的http請求、數(shù)據(jù)傳輸及交互相關操作技巧,需要的朋友可以參考下2018-07-07
Python如何實現(xiàn)拆分數(shù)據(jù)集
這篇文章主要介紹了Python如何實現(xiàn)拆分數(shù)據(jù)集問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
pandas把dataframe轉(zhuǎn)成Series,改變列中值的類型方法
下面小編就為大家分享一篇pandas把dataframe轉(zhuǎn)成Series,改變列中值的類型方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04