1.SGD

隨機(jī)梯度下降

隨機(jī)梯度下降和其他的梯度下降主要區(qū)別，在于SGD每次只使用一個(gè)數(shù)據(jù)樣本，去計(jì)算損失函數(shù)，求梯度，更新參數(shù)。這種方法的計(jì)算速度快，但是下降的速度慢，可能會(huì)在最低處兩邊震蕩，停留在局部最優(yōu)。

2.SGDM

SGM with Momentum：動(dòng)量梯度下降

動(dòng)量梯度下降，在進(jìn)行參數(shù)更新之前，會(huì)對(duì)之前的梯度信息，進(jìn)行指數(shù)加權(quán)平均，然后使用加權(quán)平均之后的梯度，來代替原梯度，進(jìn)行參數(shù)的更新。如此，更新的時(shí)候，都會(huì)包含之前的梯度信息。

計(jì)算的時(shí)候，會(huì)在加權(quán)平均的梯度上加上一個(gè)beta參數(shù)，原梯度加上1-beta，二者之和就是用于進(jìn)行參數(shù)更新的動(dòng)量梯度。

由于有之前的梯度信息，因此該方法相當(dāng)于對(duì)梯度下降加入了一個(gè)慣性。如果前面的是下降，那么此處會(huì)下降更快，如果突然接觸到了最低點(diǎn)，也會(huì)因?yàn)橛袆?dòng)量，而再往前走走。也就是說當(dāng)前的方向，由此前積累的方向，和現(xiàn)在的梯度方向共同決定。因此，訓(xùn)練過程的震蕩幅度會(huì)變小，速度變快。

SGDM速度沒Adam快，但泛化能力好。

3.Adam

Adam是一種在深度學(xué)習(xí)模型中用來替代隨機(jī)梯度下降的優(yōu)化算法

它是SGDM和RMSProp算法的結(jié)合，訓(xùn)練速度快，泛化能力不太行。

4.Adagrad

Adaptive Gradient自適應(yīng)步長

該方法為現(xiàn)在的梯度*步長添加了一個(gè)系數(shù)：1/（歷史梯度的平方和，再開根號(hào)）

在數(shù)據(jù)分布稀疏的時(shí)候，能更好地利用稀疏梯度的信息，比標(biāo)準(zhǔn)的SGD更有效地收斂。

5.RMSProp

梯度平方根root mean square prop

該方法和Adagrad的區(qū)別就是分母不一樣，使得系數(shù)不會(huì)因?yàn)榍皫撞降奶荻忍蠖鴮?dǎo)致分母太大，從而導(dǎo)致系數(shù)變得太小而走不動(dòng)了。類似于Momentum的計(jì)算方式。

6.NAG

Nesterov Accelerated Gradient，是在SGD和SGDM的基礎(chǔ)上的改進(jìn)，在SGDM中，采用的梯度方向，是由當(dāng)前的梯度方向，以及前面累積的梯度方向共同決定，但在NAG中，是先使用累積的動(dòng)量計(jì)算一次，得到下一次的梯度方向，再把下一個(gè)點(diǎn)的梯度方向，與歷史累積動(dòng)量相結(jié)合，計(jì)算現(xiàn)在這個(gè)時(shí)刻的累計(jì)動(dòng)量。

以上就是python人工智能深度學(xué)習(xí)算法優(yōu)化的詳細(xì)內(nèi)容，更多關(guān)于python人工智能算法優(yōu)化的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！