python實(shí)現(xiàn)BackPropagation算法

更新時(shí)間：2017年12月14日 10:51:40 作者：芳草碧連天lc

這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)BackPropagation算法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的權(quán)重和偏置更新，很重要的一部就是使用BackPropagation（反向傳播）算法。具體來(lái)說(shuō)，反向傳播算法就是用誤差的反向傳播來(lái)計(jì)算w（權(quán)重）和b（偏置）相對(duì)于目標(biāo)函數(shù)的導(dǎo)數(shù)，這樣就可以在原來(lái)的w，b的基礎(chǔ)上減去偏導(dǎo)數(shù)來(lái)更新。其中我上次寫的python實(shí)現(xiàn)梯度下降中有一個(gè)函數(shù)backprop(x,y)就是用來(lái)實(shí)現(xiàn)反向傳播的算法。（注：代碼并非自己總結(jié)，github上有這個(gè)代碼的實(shí)現(xiàn)https://github.com/LCAIZJ/neural-networks-and-deep-learning）

def backprop(self,x,y):
  nabla_b = [np.zeros(b.shape) for b in self.biases]
  nabla_w = [np.zeros(w.shape) for w in self.weights]
  # 通過輸入x，前向計(jì)算輸出層的值
  activation = x
  activations = [x]# 存儲(chǔ)的是所以的輸出層
  zs = []
  for b,w in zip(self.biases,self.weights):
    z = np.dot(w,activation)+b
    zs.append(z)
    activation = sigmoid(z)
    activations.append(activation)
  # 計(jì)算輸出層的error
  delta = self.cost_derivative(activations[-1],y)*sigmoid_prime(zs[:-1])
  nabla_b[-1] = delta
  nabla_w[-1] = np.dot(delta,activations[-2].transpose())
  #反向更新error
  for l in xrange(2,self.num_layers):
    z = zs[-l]
    sp = sigmoid_prime(z)
    delta = np.dot(self.weight[-l+1].transpose(),delta)*sp
    nabla_b[-l] = delta
    nabla_w[-l] = np.dot(delta,activations[-l-1].transpose())
  return (nabla_b,nabla_w)

其中，傳入的x和y是一個(gè)單獨(dú)的實(shí)例。

def cost_derivative(self,output_activation,y):
  return (output_activation-y)
def sigmoid(z):
  return 1.0/(1.0+np.exp(z))
def sigmoid_prime(z):
  return sigmoid(z)*(1-sigmoid(z))

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python新手教程之while循環(huán)20例
循環(huán)的作用就是讓指定的代碼重復(fù)的執(zhí)行,while循環(huán)最常用的應(yīng)用場(chǎng)景就是讓執(zhí)行的代碼按照指定的次數(shù)重復(fù)執(zhí)行,這篇文章主要給大家介紹了關(guān)于Python新手教程之while循環(huán)20例的相關(guān)資料,需要的朋友可以參考下
2024-05-05
Python中super函數(shù)的用法
這篇文章主要介紹了Python中super函數(shù)的用法，詳細(xì)的介紹了Python super函數(shù)的具體用法和實(shí)例，具有一定的參考價(jià)值，有興趣的可以了解一下
2017-11-11
Python使用進(jìn)程Process模塊管理資源
這篇文章主要介紹了Python使用進(jìn)程Process模塊管理資源,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-03-03
python3實(shí)現(xiàn)彈彈球小游戲
這篇文章主要介紹了python3實(shí)現(xiàn)彈彈球小游戲，圖形用戶界面tkinter，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2019-11-11
Python使用Networkx實(shí)現(xiàn)復(fù)雜的人物關(guān)系圖
日常工作、生活中我們經(jīng)常會(huì)遇到一些復(fù)雜的事務(wù)關(guān)系,比如人物關(guān)系,那如何才能清楚直觀的看清楚這些任務(wù)關(guān)系呢？所以小編給大家介紹了Python如何使用Networkx實(shí)現(xiàn)復(fù)雜的人物關(guān)系圖,文中通過代碼示例講解的非常詳細(xì),需要的朋友可以參考下
2023-11-11
Python無(wú)權(quán)點(diǎn)文件轉(zhuǎn)化成鄰接矩陣方式
這篇文章主要介紹了Python無(wú)權(quán)點(diǎn)文件轉(zhuǎn)化成鄰接矩陣方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2022-12-12
Pytorch中的torch.nn.Linear()方法用法解讀
這篇文章主要介紹了Pytorch中的torch.nn.Linear()方法用法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2024-02-02
詳解Python的hasattr() getattr() setattr() 函數(shù)使用方法
這篇文章主要介紹了詳解Python的hasattr() getattr() setattr() 函數(shù)使用方法,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2018-07-07
Python之requests的使用（二）
上一篇我們說(shuō)了requests的簡(jiǎn)單用法，知道了如何發(fā)送請(qǐng)求，今天我們更深層次的來(lái)學(xué)習(xí)requests。我們看看高級(jí)一點(diǎn)的操作，比如講文件上傳，cookies設(shè)置，代理設(shè)置之類的。感興趣的同學(xué)可以參考閱讀
2023-04-04
Python讀取文件的8種常用方式
這篇文章主要給大家介紹了關(guān)于Python讀取文件的8種常用方式,在編程語(yǔ)言中,文件讀寫是最常見的IO操作,文中通過代碼示例介紹的非常詳細(xì),需要的朋友可以參考下
2023-09-09