淺談Python幾種常見(jiàn)的歸一化方法

更新時(shí)間：2023年04月08日 09:08:09 作者：不想敲代碼的小楊

這篇文章主要介紹了幾種常見(jiàn)的歸一化方法,數(shù)據(jù)歸一化是深度學(xué)習(xí)數(shù)據(jù)預(yù)處理中非常關(guān)鍵的步驟，可以起到統(tǒng)一量綱，防止小數(shù)據(jù)被吞噬的作用,需要的朋友可以參考下

一：歸一化的概念

歸一化就是把所有數(shù)據(jù)都轉(zhuǎn)化成[0,1]或者[-1,1]之間的數(shù)，其目的是為了取消各維數(shù)據(jù)之間的數(shù)量級(jí)差別，避免因?yàn)檩斎胼敵鰯?shù)據(jù)數(shù)量級(jí)差別大而造成網(wǎng)絡(luò)預(yù)測(cè)誤差過(guò)大。

二：歸一化的作用

為了后面數(shù)據(jù)處理的方便，歸一化可以避免一些不必要的數(shù)值問(wèn)題。
為了程序運(yùn)行時(shí)收斂速度更快
統(tǒng)一量綱。樣本數(shù)據(jù)的評(píng)價(jià)標(biāo)準(zhǔn)不一樣，需要對(duì)其量綱化，統(tǒng)一評(píng)價(jià)標(biāo)準(zhǔn)，這算是應(yīng)用層面的需求。
避免神經(jīng)元飽和。就是說(shuō)當(dāng)神經(jīng)元的激活在接近0或者1時(shí)，在這些區(qū)域，梯度幾乎為0，這樣在反向傳播過(guò)程中，局部梯度就會(huì)接近于0，這樣非常不利于網(wǎng)絡(luò)的訓(xùn)練。
保證輸出數(shù)據(jù)中數(shù)值小的不被吞食。

三：歸一化的類型

1：線性歸一化

線性歸一化也被稱為最小-最大規(guī)范化；離散標(biāo)準(zhǔn)化，是對(duì)原始數(shù)據(jù)的線性變換，將數(shù)據(jù)值映射到[0,1]之間。用公式表示為：

${x}'=\frac{x-min(x)}{max(x)-min(x)}$

差標(biāo)準(zhǔn)化保留了原來(lái)數(shù)據(jù)中存在的關(guān)系，是消除量綱和數(shù)據(jù)取值范圍影響的最簡(jiǎn)單的方法。代碼實(shí)現(xiàn)如下：

def MaxMinNormalization(x,Max,Min):
    x = (x - Min) / (Max - Min);
    return x

適用范圍：比較適用在數(shù)值比較集中的情況

缺點(diǎn)：

如果max和min不穩(wěn)定，很容易使得歸一化的結(jié)果不穩(wěn)定，使得后續(xù)使用效果也不穩(wěn)定。如果遇到超過(guò)目前屬性[min,max]取值范圍的時(shí)候，會(huì)引起系統(tǒng)報(bào)錯(cuò)。需要重新確定min和max。
如果數(shù)值集中的某個(gè)數(shù)值很大，則規(guī)范化后各值接近于0，并且將會(huì)相差不大。（如 1,1.2,1.3,1.4,1.5,1.6,10）這組數(shù)據(jù)。

2：零-均值歸一化（Z-score標(biāo)準(zhǔn)化）

Z-score標(biāo)準(zhǔn)化也被稱為標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化，經(jīng)過(guò)處理的數(shù)據(jù)的均值為0，標(biāo)準(zhǔn)差為1。其轉(zhuǎn)化公式為：

${x}'=\frac{x-\mu }{\delta }$

其中 $\mu$ 為原始數(shù)據(jù)的均值， $\delta$ 為原始數(shù)據(jù)的標(biāo)準(zhǔn)差，是當(dāng)前用的最多的標(biāo)準(zhǔn)化公式

這種方法給予原始數(shù)據(jù)的均值（mean）和標(biāo)準(zhǔn)差（standard deviation）進(jìn)行數(shù)據(jù)的標(biāo)準(zhǔn)化。經(jīng)過(guò)處理的數(shù)據(jù)符合標(biāo)準(zhǔn)正態(tài)分布，即均值為0，標(biāo)準(zhǔn)差為1，這里的關(guān)鍵在于復(fù)合標(biāo)準(zhǔn)正態(tài)分布

代碼實(shí)現(xiàn)如下：

def Z_ScoreNormalization(x,mu,sigma):
    x = (x - mu) / sigma;
    return x

3：小數(shù)定標(biāo)規(guī)范化

這種方法通過(guò)移動(dòng)屬性值的小數(shù)數(shù)位，將屬性值映射到[-1,1]之間，移動(dòng)的小數(shù)位數(shù)取決于屬性值絕對(duì)值的最大值。轉(zhuǎn)換公式為：

${x}'=\frac{x}{10^{k}}$

4:非線性歸一化

這個(gè)方法包括log，指數(shù)，正切

適用范圍：經(jīng)常用在數(shù)據(jù)分析比較大的場(chǎng)景，有些數(shù)值很大，有些很小，將原始值進(jìn)行映射。

四：批歸一化（BatchNormalization）

1：引入

在以往的神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，僅僅只對(duì)輸入層數(shù)據(jù)進(jìn)行歸一化處理，卻沒(méi)有在中間層進(jìn)行歸一化處理。雖然我們對(duì)輸入數(shù)據(jù)進(jìn)行了歸一化處理，但是輸入數(shù)據(jù)經(jīng)過(guò)了 $\delta$ 這樣的矩陣乘法之后，其數(shù)據(jù)分布很可能發(fā)生很大改變，并且隨著網(wǎng)絡(luò)的層數(shù)不斷加深。數(shù)據(jù)分布的變化將越來(lái)越大。因此這種在神經(jīng)網(wǎng)絡(luò)中間層進(jìn)行的歸一化處理，使得訓(xùn)練效果更好的方法就被稱為批歸一化（BN）

2：BN算法的優(yōu)點(diǎn)

減少了人為選擇參數(shù)
減少了對(duì)學(xué)習(xí)率的要求，我們可以使用初始狀態(tài)下很大的學(xué)習(xí)率或者當(dāng)使用較小的學(xué)習(xí)率時(shí)，算法也能夠快速訓(xùn)練收斂。
破換了原來(lái)的數(shù)據(jù)分布，一定程度上緩解了過(guò)擬合（防止每批訓(xùn)練中某一個(gè)樣本經(jīng)常被挑選到）
減少梯度消失，加快收斂速度，提高訓(xùn)練精度。