keras之權(quán)重初始化方式
在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中，好的權(quán)重 初始化會(huì)加速訓(xùn)練過程。
下面說一下kernel_initializer 權(quán)重初始化的方法。
不同的層可能使用不同的關(guān)鍵字來傳遞初始化方法，一般來說指定初始化方法的關(guān)鍵字是kernel_initializer 和 bias_initializer
model.add(Dense(64, kernel_initializer=initializers.random_normal(stddev=0.01))) # also works; will use the default parameters. model.add(Dense(64, kernel_initializer='random_normal'))
幾種初始化方法
keras.initializers.Zeros()#全0 keras.initializers.Ones()#全1 keras.initializers.RandomNormal(mean=0.0, stddev=0.05, seed=None))#指定均值和方差的正態(tài)分布初始化 keras.initializers.RandomUniform(minval=-0.05, maxval=0.05, seed=None)#指定下邊界和上邊界的均勻分布初始化 keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)#截尾高斯分布初始化，位于均值兩個(gè)標(biāo)準(zhǔn)差以外的數(shù)據(jù)將會(huì)被丟棄并重新生成，形成截尾分布
自定義初始化
def my_init(shape, dtype=None): return K.random_normal(shape, dtype=dtype) model.add(Dense(64, init=my_init))
補(bǔ)充知識(shí)：Keras中權(quán)重weight的初始化
Keras 的原始構(gòu)造模塊是模型，最簡(jiǎn)單的模型稱為序貫?zāi)Ｐ停?Keras 的序貫?zāi)Ｐ褪巧窠?jīng)網(wǎng)絡(luò)層的線性管道 （ 堆棧） 。
以下代碼段定義了 一個(gè)包含 12 個(gè)人工神經(jīng)元的單層 網(wǎng)絡(luò)，它預(yù)計(jì)有 8 個(gè)輸入變量 （ 也稱為特征）：
from keras.models import Sequential model =Sequential() model.add(12,input_dim=8,kernel_initializer='random_uniform')
每個(gè)神經(jīng)元可以用特定的權(quán)重進(jìn)行初始化 。 Keras 提供了 幾個(gè)選擇 ， 其中最常用的選擇如下所示。
random_unifrom：權(quán)重被初始化為（-0.5，0.5）之間的均勻隨機(jī)的微小數(shù)值，換句話說，給定區(qū)間里的任何值都可能作為權(quán)重 。
random_normal：根據(jù)高斯分布初始化權(quán)重，其中均值為0，標(biāo)準(zhǔn)差為0.05。
zero：所有權(quán)重被初始化為0。
以上這篇keras之權(quán)重初始化方式就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python已解決NameError: name ‘xxx‘ is not&nb
本文主要介紹了Python已解決NameError: name ‘xxx‘ is not defined,解決報(bào)錯(cuò)NameError: name 'xxx' is not defined的關(guān)鍵在于仔細(xì)檢查拼寫、作用域和賦值等問題,感興趣的可以了解一下2024-06-06
Pandas 合并多個(gè)Dataframe(merge,concat)的方法
今天小編就為大家分享一篇Pandas 合并多個(gè)Dataframe(merge,concat)的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-06-06
Python特征降維知識(shí)點(diǎn)總結(jié)
在本篇文章里小編給大家整理了一篇關(guān)于Python特征降維知識(shí)點(diǎn)總結(jié)內(nèi)容，有需要的朋友們可以學(xué)習(xí)參考下。2021-08-08
下面小編就為大家?guī)硪黄Ｒ妏ython正則用法的簡(jiǎn)單實(shí)例。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2016-06-06
python第三方庫subprocess執(zhí)行cmd同時(shí)輸入密碼獲取參數(shù)
本文給大家介紹python subprocess執(zhí)行cmd同時(shí)輸入密碼獲取參數(shù),手動(dòng)輸入cmd命令,本文給大家逐一介紹這個(gè)命令的使用方法,感興趣的朋友跟隨小編一起看看吧2024-01-01
本篇文章給大家總結(jié)了關(guān)于Python爬蟲工程師面試問題總結(jié)，希望我們整理的內(nèi)容能夠幫助到大家。2018-03-03
這篇文章主要為大家介紹了5種Python單例模式的實(shí)現(xiàn)方式，所謂單例，是指一個(gè)類的實(shí)例從始至終只能被創(chuàng)建一次，對(duì)單例感興趣的小伙伴們可以參考一下2016-01-01
python?manage.py?createsuperuser運(yùn)行錯(cuò)誤問題解決
這篇文章主要介紹了python?manage.py?createsuperuser運(yùn)行錯(cuò)誤,本文給大家分享錯(cuò)誤復(fù)現(xiàn)及解決方案，感興趣的朋友一起看看吧2023-10-10
python中的TCP(傳輸控制協(xié)議)用法實(shí)例分析
這篇文章主要介紹了python中的TCP(傳輸控制協(xié)議)用法,結(jié)合完整實(shí)例形式分析了Python基于TCP協(xié)議的服務(wù)器端與客戶端相關(guān)實(shí)現(xiàn)技巧及操作注意事項(xiàng),需要的朋友可以參考下2019-11-11
這篇文章主要介紹了Python基于pillow判斷圖片完整性的方法,結(jié)合實(shí)例形式簡(jiǎn)單分析了pillow的安裝及圖片完整性判斷的相關(guān)操作技巧,需要的朋友可以參考下2016-09-09