Python實現的三層BP神經網絡算法示例
更新時間：2018年02月07日 08:58:21 作者：羅兵
這篇文章主要介紹了Python實現的三層BP神經網絡算法,結合完整實例形式分析了Python三層BP神經網絡算法的具體實現與使用相關操作技巧,需要的朋友可以參考下
本文實例講述了Python實現的三層BP神經網絡算法。分享給大家供大家參考，具體如下：
這是一個非常漂亮的三層反向傳播神經網絡的python實現，下一步我準備試著將其修改為多層BP神經網絡。
下面是運行演示函數的截圖，你會發(fā)現預測的結果很驚人！
提示：運行演示函數的時候，可以嘗試改變隱藏層的節(jié)點數，看節(jié)點數增加了，預測的精度會否提升
import math
import random
import string
random.seed(0)
# 生成區(qū)間[a, b)內的隨機數
def rand(a, b):
return (b-a)*random.random() + a
# 生成大小 I*J 的矩陣，默認零矩陣 (當然，亦可用 NumPy 提速)
def makeMatrix(I, J, fill=0.0):
m = []
for i in range(I):
m.append([fill]*J)
return m
# 函數 sigmoid，這里采用 tanh，因為看起來要比標準的 1/(1+e^-x) 漂亮些
def sigmoid(x):
return math.tanh(x)
# 函數 sigmoid 的派生函數, 為了得到輸出 (即：y)
def dsigmoid(y):
return 1.0 - y**2
class NN:
''' 三層反向傳播神經網絡 '''
def __init__(self, ni, nh, no):
# 輸入層、隱藏層、輸出層的節(jié)點（數）
self.ni = ni + 1 # 增加一個偏差節(jié)點
self.nh = nh
self.no = no
# 激活神經網絡的所有節(jié)點（向量）
self.ai = [1.0]*self.ni
self.ah = [1.0]*self.nh
self.ao = [1.0]*self.no
# 建立權重（矩陣）
self.wi = makeMatrix(self.ni, self.nh)
self.wo = makeMatrix(self.nh, self.no)
# 設為隨機值
for i in range(self.ni):
for j in range(self.nh):
self.wi[i][j] = rand(-0.2, 0.2)
for j in range(self.nh):
for k in range(self.no):
self.wo[j][k] = rand(-2.0, 2.0)
# 最后建立動量因子（矩陣）
self.ci = makeMatrix(self.ni, self.nh)
self.co = makeMatrix(self.nh, self.no)
def update(self, inputs):
if len(inputs) != self.ni-1:
raise ValueError('與輸入層節(jié)點數不符！')
# 激活輸入層
for i in range(self.ni-1):
#self.ai[i] = sigmoid(inputs[i])
self.ai[i] = inputs[i]
# 激活隱藏層
for j in range(self.nh):
sum = 0.0
for i in range(self.ni):
sum = sum + self.ai[i] * self.wi[i][j]
self.ah[j] = sigmoid(sum)
# 激活輸出層
for k in range(self.no):
sum = 0.0
for j in range(self.nh):
sum = sum + self.ah[j] * self.wo[j][k]
self.ao[k] = sigmoid(sum)
return self.ao[:]
def backPropagate(self, targets, N, M):
''' 反向傳播 '''
if len(targets) != self.no:
raise ValueError('與輸出層節(jié)點數不符！')
# 計算輸出層的誤差
output_deltas = [0.0] * self.no
for k in range(self.no):
error = targets[k]-self.ao[k]
output_deltas[k] = dsigmoid(self.ao[k]) * error
# 計算隱藏層的誤差
hidden_deltas = [0.0] * self.nh
for j in range(self.nh):
error = 0.0
for k in range(self.no):
error = error + output_deltas[k]*self.wo[j][k]
hidden_deltas[j] = dsigmoid(self.ah[j]) * error
# 更新輸出層權重
for j in range(self.nh):
for k in range(self.no):
change = output_deltas[k]*self.ah[j]
self.wo[j][k] = self.wo[j][k] + N*change + M*self.co[j][k]
self.co[j][k] = change
#print(N*change, M*self.co[j][k])
# 更新輸入層權重
for i in range(self.ni):
for j in range(self.nh):
change = hidden_deltas[j]*self.ai[i]
self.wi[i][j] = self.wi[i][j] + N*change + M*self.ci[i][j]
self.ci[i][j] = change
# 計算誤差
error = 0.0
for k in range(len(targets)):
error = error + 0.5*(targets[k]-self.ao[k])**2
return error
def test(self, patterns):
for p in patterns:
print(p[0], '->', self.update(p[0]))
def weights(self):
print('輸入層權重:')
for i in range(self.ni):
print(self.wi[i])
print()
print('輸出層權重:')
for j in range(self.nh):
print(self.wo[j])
def train(self, patterns, iterations=1000, N=0.5, M=0.1):
# N: 學習速率(learning rate)
# M: 動量因子(momentum factor)
for i in range(iterations):
error = 0.0
for p in patterns:
inputs = p[0]
targets = p[1]
self.update(inputs)
error = error + self.backPropagate(targets, N, M)
if i % 100 == 0:
print('誤差 %-.5f' % error)
def demo():
# 一個演示：教神經網絡學習邏輯異或（XOR）------------可以換成你自己的數據試試
pat = [
[[0,0], [0]],
[[0,1], [1]],
[[1,0], [1]],
[[1,1], [0]]
]
# 創(chuàng)建一個神經網絡：輸入層有兩個節(jié)點、隱藏層有兩個節(jié)點、輸出層有一個節(jié)點
n = NN(2, 2, 1)
# 用一些模式訓練它
n.train(pat)
# 測試訓練的成果（不要吃驚哦）
n.test(pat)
# 看看訓練好的權重（當然可以考慮把訓練好的權重持久化）
#n.weights()
if __name__ == '__main__':
demo()
更多關于Python相關內容感興趣的讀者可查看本站專題：《Python數據結構與算法教程》、《Python編碼操作技巧總結》、《Python函數使用技巧總結》、《Python字符串操作技巧匯總》及《Python入門與進階經典教程》
希望本文所述對大家Python程序設計有所幫助。
相關文章
這篇文章主要介紹了python寫xml文件的操作實例,是非常常見的實用技巧,需要的朋友可以參考下2014-10-10
Python不會自動清理這些內存，這篇文章主要介紹了談談如何手動釋放Python的內存，具有一定的參考價值，感興趣的小伙伴們可以參考一下。2016-12-12
這篇文章主要介紹了python?使用OpenCV進行曝光融合，使用OpenCV的Exposure?Fusion，曝光融合是一種將使用不同曝光設置拍攝的圖像合成為一張看起來像色調映射的高動態(tài)范圍（HDR）圖像的圖像的方，下文更多詳細內容介紹，需要的小伙伴可以參考一下2022-04-04
這篇文章主要為大家詳細介紹了python使用adbapi實現MySQL數據庫的異步存儲，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-03-03
這篇文章主要為大家詳細介紹了python實現通訊錄系統，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-05-05
這篇文章主要介紹了Python實現的拉格朗日插值法,簡單介紹了拉格朗日插值法的原理并結合完整實例形式給出了拉格朗日插值法的具體實現與使用技巧,需要的朋友可以參考下2019-01-01
這篇文章主要介紹了Python中的shutil標準庫用法解析,shutil模塊提供了許多關于文件和文件集合的高級操作,特別提供了支持文件復制和刪除的功能,需要的朋友可以參考下2023-09-09
這篇文章主要介紹了Python中end=和sep=的區(qū)別說明，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
這篇文章主要介紹了簡單介紹Python中用于求最小值的min()方法,是Python入門中的基礎知識,需要的朋友可以參考下2015-05-05
random庫是使用隨機數的Python標準庫，python中用于生成偽隨機數的函數庫是random，今天通過本文給大家分享Python 中random 庫的詳細使用，感興趣的朋友一起看看吧2021-06-06