pytorch 如何使用float64訓練
pytorch默認使用單精度float32訓練模型，
原因在于：
使用float16訓練模型，模型效果會有損失，而使用double(float64)會有2倍的內(nèi)存壓力，且不會帶來太多的精度提升。
本人，最近遇到需要使用double數(shù)據(jù)類型訓練模型的情況，具體實現(xiàn)需要把模型的權重參數(shù)數(shù)據(jù)類型和輸入數(shù)據(jù)類型全部設置為torch.float64即可。
可使用torch的一個函數(shù)，輕松地把模型參數(shù)轉化為float64
torch.set_default_dtype(torch.float64)
輸入類型可使用
tensor.type(torch.float64)
補充：float32和float64的本質區(qū)別
首先我們需要知道何為bits和bytes?
bits:名為位數(shù)bytes:為字節(jié)簡單的數(shù)就是MB和G的關系！
那么8bits=1bytes，下面是各個單位的相互轉化！
那么float32和float64有什么區(qū)別呢?
數(shù)位的區(qū)別一個在內(nèi)存中占分別32和64個bits，也就是4bytes或8bytes數(shù)位越高浮點數(shù)的精度越高它會影響深度學習計算效率?
float64占用的內(nèi)存是float32的兩倍，是float16的4倍；
比如對于CIFAR10數(shù)據(jù)集，如果采用float64來表示，需要60000*32*32*3*8/1024**3=1.4G，光把數(shù)據(jù)集調(diào)入內(nèi)存就需要1.4G；
如果采用float32，只需要0.7G，如果采用float16，只需要0.35G左右；
占用內(nèi)存的多少，會對系統(tǒng)運行效率有嚴重影響；（因此數(shù)據(jù)集文件都是采用uint8來存在數(shù)據(jù)，保持文件最小）
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
今天小編就為大家分享一篇解決Python3下map函數(shù)的顯示問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
這篇文章主要介紹了這可能是最好玩的python GUI入門實例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
這篇文章主要介紹了Python學習筆記之變量與轉義符，本文從零開始學習Python,知識點很細,有共同目標的小伙伴可以一起來學習2023-03-03
python實現(xiàn)可以斷點續(xù)傳和并發(fā)的ftp程序
斷點續(xù)傳和并發(fā)是現(xiàn)在很多ftp程序都支持的功能，如果我們用python如何來做斷點續(xù)傳和并發(fā)了，今天來看一篇python實現(xiàn)斷點續(xù)傳和并發(fā)的ftp程序例子吧，具體如下。2016-09-09
你知道for...in是底層原理是什么樣的么？這篇文章就來和大家詳細講一講Python中迭代器的的相關知識，文中的示例代碼講解詳細，感興趣的可以了解一下2023-04-04
這篇文章主要為大家詳細介紹了一個Python最簡單的接口自動化框架，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-01-01
這篇文章主要介紹了如何在pycharm中快捷安裝pip命令(如pygame)，具有很好的參考價值，希望對大家有所幫助。2021-05-05
今天小編就為大家分享一篇python 多線程串行和并行的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
這篇文章主要介紹了Python讀取Excel繪制直方圖,以下將詳細介紹如何使用 Python 的?pyecharts、matplotlib?和?seaborn?三個庫從 Excel 中讀取數(shù)據(jù)并繪制直方圖（Histogram）,需要的朋友可以參考下2025-04-04
本文主要介紹了Python讀寫二進制文件的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-04-04