python構建深度神經(jīng)網(wǎng)絡（DNN）
更新時間：2021年10月11日 11:19:15 作者：Ychan_cc
這篇文章主要為大家詳細介紹了python構建深度神經(jīng)網(wǎng)絡DNN，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
本文學習Neural Networks and Deep Learning 在線免費書籍，用python構建神經(jīng)網(wǎng)絡識別手寫體的一個總結。
代碼主要包括兩三部分：
1）、數(shù)據(jù)調(diào)用和預處理
2）、神經(jīng)網(wǎng)絡類構建和方法建立
3）、代碼測試文件
1）數(shù)據(jù)調(diào)用：
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2017-03-12 15:11
# @Author : CC
# @File : net_load_data.py
# @Software: PyCharm Community Edition
from numpy import *
import numpy as np
import cPickle
def load_data():
"""載入解壓后的數(shù)據(jù)，并讀取"""
with open('data/mnist_pkl/mnist.pkl','rb') as f:
try:
train_data,validation_data,test_data = cPickle.load(f)
print " the file open sucessfully"
# print train_data[0].shape #(50000,784)
# print train_data[1].shape #(50000,)
return (train_data,validation_data,test_data)
except EOFError:
print 'the file open error'
return None
def data_transform():
"""將數(shù)據(jù)轉(zhuǎn)化為計算格式"""
t_d,va_d,te_d = load_data()
# print t_d[0].shape # (50000,784)
# print te_d[0].shape # (10000,784)
# print va_d[0].shape # (10000,784)
# n1 = [np.reshape(x,784,1) for x in t_d[0]] # 將5萬個數(shù)據(jù)分別逐個取出化成（784,1），逐個排列
n = [np.reshape(x, (784, 1)) for x in t_d[0]] # 將5萬個數(shù)據(jù)分別逐個取出化成（784,1），逐個排列
# print 'n1',n1[0].shape
# print 'n',n[0].shape
m = [vectors(y) for y in t_d[1]] # 將5萬標簽（50000,1）化為（10,50000）
train_data = zip(n,m) # 將數(shù)據(jù)與標簽打包成元組形式
n = [np.reshape(x, (784, 1)) for x in va_d[0]] # 將5萬個數(shù)據(jù)分別逐個取出化成（784,1），排列
validation_data = zip(n,va_d[1]) # 沒有將標簽數(shù)據(jù)矢量化
n = [np.reshape(x, (784, 1)) for x in te_d[0]] # 將5萬個數(shù)據(jù)分別逐個取出化成（784,1），排列
test_data = zip(n, te_d[1]) # 沒有將標簽數(shù)據(jù)矢量化
# print train_data[0][0].shape #(784,）
# print "len(train_data[0])",len(train_data[0]) #2
# print "len(train_data[100])",len(train_data[100]) #2
# print "len(train_data[0][0])", len(train_data[0][0]) #784
# print "train_data[0][0].shape", train_data[0][0].shape #（784,1）
# print "len(train_data)", len(train_data) #50000
# print train_data[0][1].shape #(10,1)
# print test_data[0][1] # 7
return (train_data,validation_data,test_data)
def vectors(y):
"""賦予標簽"""
label = np.zeros((10,1))
label[y] = 1.0 #浮點計算
return label
2）網(wǎng)絡構建
#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time : 2017-03-12 16:07
# @Author : CC
# @File : net_network.py
import numpy as np
import random
class Network(object): #默認為基類?用于繼承：print isinstance(network,object)
def __init__(self,sizes):
self.num_layers = len(sizes)
self.sizes = sizes
# print 'num_layers', self.num_layers
self.weight = [np.random.randn(a1, a2) for (a1, a2) in zip(sizes[1:], sizes[:-1])] #產(chǎn)生一個個數(shù)組
self.bias = [np.random.randn(a3,1) for a3 in sizes[1:]]
# print self.weight[0].shape #(20,10)
def SGD(self,train_data,min_batch_size,epoches,eta,test_data=False):
""" 1) 打亂樣本，將訓練數(shù)據(jù)劃分成小批次
2）計算出反向傳播梯度
3） 獲得權重更新"""
if test_data: n_test = len(test_data)
n = len(train_data) #50000
random.shuffle(train_data) # 打亂
min_batches = [train_data[k:k+min_batch_size] for k in xrange(0,n,min_batch_size)] #提取批次數(shù)據(jù)
for k in xrange(0,epoches): #利用更新后的權值繼續(xù)更新
random.shuffle(train_data) # 打亂
for min_batch in min_batches: #逐個傳入，效率很低
self.updata_parameter(min_batch,eta)
if test_data:
num = self.evaluate(test_data)
print "the {0}th epoches: {1}/{2}".format(k,num,len(test_data))
else:
print 'epoches {0} completed'.format(k)
def forward(self,x):
"""獲得各層激活值"""
for w,b in zip(self.weight,self.bias):
x = sigmoid(np.dot(w, x)+b)
return x
def updata_parameter(self,min_batch,eta):
"""1) 反向傳播計算每個樣本梯度值
2） 累加每個批次樣本的梯度值
3） 權值更新"""
ndeltab = [np.zeros(b.shape) for b in self.bias]
ndeltaw = [np.zeros(w.shape) for w in self.weight]
for x,y in min_batch:
deltab,deltaw = self.backprop(x,y)
ndeltab = [nb +db for nb,db in zip(ndeltab,deltab)]
ndeltaw = [nw + dw for nw,dw in zip(ndeltaw,deltaw)]
self.bias = [b - eta * ndb/len(min_batch) for ndb,b in zip(ndeltab,self.bias)]
self.weight = [w - eta * ndw/len(min_batch) for ndw,w in zip(ndeltaw,self.weight)]
def backprop(self,x,y):
"""執(zhí)行前向計算，再進行反向傳播，返回deltaw,deltab"""
# [w for w in self.weight]
# print 'len',len(w)
# print "self.weight",self.weight[0].shape
# print w[0].shape
# print w[1].shape
# print w.shape
activation = x
activations = [x]
zs = []
# feedforward
for w, b in zip(self.weight, self.bias):
# print w.shape,activation.shape,b.shape
z = np.dot(w, activation) +b
zs.append(z) #用于計算f(z)導數(shù)
activation = sigmoid(z)
# print 'activation',activation.shape
activations.append(activation) # 每層的輸出結果
delta = self.top_subtract(activations[-1],y) * dsigmoid(zs[-1]) #最后一層的delta,np.array乘,相同維度乘
deltaw = [np.zeros(w1.shape) for w1 in self.weight] #每一次將獲得的值作為列表形式賦給deltaw
deltab = [np.zeros(b1.shape) for b1 in self.bias]
# print 'deltab[0]',deltab[-1].shape
deltab[-1] = delta
deltaw[-1] = np.dot(delta,activations[-2].transpose())
for k in xrange(2,self.num_layers):
delta = np.dot(self.weight[-k+1].transpose(),delta) * dsigmoid(zs[-k])
deltab[-k] = delta
deltaw[-k] = np.dot(delta,activations[-k-1].transpose())
return (deltab,deltaw)
def evaluate(self,test_data):
"""評估驗證集和測試集的精度,標簽直接一個數(shù)作為比較"""
z = [(np.argmax(self.forward(x)),y) for x,y in test_data]
zs = np.sum(int(a == b) for a,b in z)
# zk = sum(int(a == b) for a,b in z)
# print "zs/zk:",zs,zk
return zs
def top_subtract(self,x,y):
return (x - y)
def sigmoid(x):
return 1.0/(1.0+np.exp(-x))
def dsigmoid(x):
z = sigmoid(x)
return z*(1-z)
3）網(wǎng)絡測試
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2017-03-12 15:24 # @Author : CC # @File : net_test.py import net_load_data # net_load_data.load_data() train_data,validation_data,test_data = net_load_data.data_transform() import net_network as net net1 = net.Network([784,30,10]) min_batch_size = 10 eta = 3.0 epoches = 30 net1.SGD(train_data,min_batch_size,epoches,eta,test_data) print "complete"
4）結果
the 9th epoches: 9405/10000 the 10th epoches: 9420/10000 the 11th epoches: 9385/10000 the 12th epoches: 9404/10000 the 13th epoches: 9398/10000 the 14th epoches: 9406/10000 the 15th epoches: 9396/10000 the 16th epoches: 9413/10000 the 17th epoches: 9405/10000 the 18th epoches: 9425/10000 the 19th epoches: 9420/10000
總體來說這本書的實例，用來熟悉python和神經(jīng)網(wǎng)絡非常好。
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
自己寫的一個爬蟲，模仿了python核心編程書里的程序，有詳細的注釋。 是我一個理解學習的過程吧。 有需要的小伙伴可以參考下2015-11-11
python實現(xiàn)對指定字符串補足固定長度倍數(shù)截斷輸出的方法
今天小編就為大家分享一篇python實現(xiàn)對指定字符串補足固定長度倍數(shù)截斷輸出的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11
在處理數(shù)據(jù)的過程中經(jīng)常需要遍歷文件夾,如果遠程服務器的文件是分布式存儲,遍歷需要更快的速度,下面這篇文章主要給大家介紹了關于利用Python獲取文件夾下所有文件的相關資料,需要的朋友可以參考下2023-01-01
python實現(xiàn)數(shù)值積分的Simpson方法實例分析
這篇文章主要介紹了python實現(xiàn)數(shù)值積分的Simpson方法,實例分析了Python實現(xiàn)積分運算的相關技巧,需要的朋友可以參考下2015-06-06
Python過濾txt文件內(nèi)重復內(nèi)容的方法
今天小編就為大家分享一篇Python過濾txt文件內(nèi)重復內(nèi)容的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要介紹了Python中NumPy的矩陣與通用函數(shù),Numpy是python的一種開源的數(shù)值計算擴展。這種工具可用來存儲和處理大型矩陣，比Python自身的嵌套列表結構要高效的多支持大量的維度數(shù)組與矩陣運算,需要的朋友可以參考下2023-07-07
這篇文章主要介紹了matplotlib圖例legend語法及設置的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-07-07
下面小編就為大家分享一篇python opencv檢測目標顏色的實例講解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
這篇文章主要介紹了pytorch中index_select()的用法詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-01-01
在計算機視覺領域，OpenCV是一款廣泛使用的開源庫，本文為大家介紹了如何使用OpenCV進行這些操作，希望能幫助你更好地掌握圖像處理和視覺任務的開發(fā)技巧2023-06-06