python機器學習之神經(jīng)網(wǎng)絡實現(xiàn)
神經(jīng)網(wǎng)絡在機器學習中有很大的應用，甚至涉及到方方面面。本文主要是簡單介紹一下神經(jīng)網(wǎng)絡的基本理論概念和推算。同時也會介紹一下神經(jīng)網(wǎng)絡在數(shù)據(jù)分類方面的應用。
首先，當我們建立一個回歸和分類模型的時候，無論是用最小二乘法（OLS）還是最大似然值（MLE）都用來使得殘差達到最小。因此我們在建立模型的時候，都會有一個loss function。
而在神經(jīng)網(wǎng)絡里也不例外，也有個類似的loss function。
對回歸而言：
對分類而言：
然后同樣方法，對于W開始求導，求導為零就可以求出極值來。
關于式子中的W。我們在這里以三層的神經(jīng)網(wǎng)絡為例。先介紹一下神經(jīng)網(wǎng)絡的相關參數(shù)。
第一層是輸入層，第二層是隱藏層，第三層是輸出層。
在X1，X2經(jīng)過W1的加權后，達到隱藏層，然后經(jīng)過W2的加權，到達輸出層
其中，
我們有：
至此，我們建立了一個初級的三層神經(jīng)網(wǎng)絡。
當我們要求其的loss function最小時，我們需要逆向來求，也就是所謂的backpropagation。
我們要分別對W1和W2進行求導，然后求出其極值。
從右手邊開始逆推，首先對W2進行求導。
代入損失函數(shù)公式：
然后，我們進行化簡：
化簡到這里，我們同理再對W1進行求導。
我們可以發(fā)現(xiàn)當我們在做bp網(wǎng)絡時候，有一個逆推回去的誤差項，其決定了loss function 的最終大小。
在實際的運算當中，我們會用到梯度求解，來求出極值點。
總結一下來說，我們使用向前推進來理順神經(jīng)網(wǎng)絡做到回歸分類等模型。而向后推進來計算他的損失函數(shù)，使得參數(shù)W有一個最優(yōu)解。
當然，和線性回歸等模型相類似的是，我們也可以加上正則化的項來對W參數(shù)進行約束，以免使得模型的偏差太小，而導致在測試集的表現(xiàn)不佳。
Python 的實現(xiàn)：
使用了KERAS的庫
解決線性回歸：
model.add(Dense(1, input_dim=n_features, activation='linear', use_bias=True))
# Use mean squared error for the loss metric and use the ADAM backprop algorithm
model.compile(loss='mean_squared_error', optimizer='adam')
# Train the network (learn the weights)
# We need to convert from DataFrame to NumpyArray
history = model.fit(X_train.values, y_train.values, epochs=100,
batch_size=1, verbose=2, validation_split=0)
解決多重分類問題：
# create model model = Sequential() model.add(Dense(64, activation='relu', input_dim=n_features)) model.add(Dropout(0.5)) model.add(Dense(64, activation='relu')) model.add(Dropout(0.5)) # Softmax output layer model.add(Dense(7, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy']) model.fit(X_train.values, y_train.values, epochs=20, batch_size=16) y_pred = model.predict(X_test.values) y_te = np.argmax(y_test.values, axis = 1) y_pr = np.argmax(y_pred, axis = 1) print(np.unique(y_pr)) print(classification_report(y_te, y_pr)) print(confusion_matrix(y_te, y_pr))
當我們選取最優(yōu)參數(shù)時候，有很多種解決的途徑。這里就介紹一種是gridsearchcv的方法，這是一種暴力檢索的方法，遍歷所有的設定參數(shù)來求得最優(yōu)參數(shù)。
from sklearn.model_selection import GridSearchCV def create_model(optimizer='rmsprop'): model = Sequential() model.add(Dense(64, activation='relu', input_dim=n_features)) model.add(Dropout(0.5)) model.add(Dense(64, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(7, activation='softmax')) model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics=['accuracy']) return model model = KerasClassifier(build_fn=create_model, verbose=0) optimizers = ['rmsprop'] epochs = [5, 10, 15] batches = [128] param_grid = dict(optimizer=optimizers, epochs=epochs, batch_size=batches, verbose=['2']) grid = GridSearchCV(estimator=model, param_grid=param_grid) grid.fit(X_train.values, y_train.values)
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
Python基于Dlib的人臉識別系統(tǒng)的實現(xiàn)
這篇文章主要介紹了Python基于Dlib的人臉識別系統(tǒng)的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-02-02
如果你剛剛開始學習 PyTorch,并想學習如何做一些基本的圖像分類,可以看看本文,這篇文章主要給大家介紹了關于如何使用Pytorch完成圖像分類任務的相關資料,需要的朋友可以參考下2022-08-08
這篇文章主要給大家介紹了關于Python刪除列表中多個元素的四種方法,在Python中想要刪除列表的某個元素,可以使用本文介紹的方法,文中通過代碼介紹的非常詳細,需要的朋友可以參考下2023-09-09
這篇文章主要介紹了Python Lambda函數(shù)使用總結詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12
20行Python代碼實現(xiàn)一款永久免費PDF編輯工具的實現(xiàn)
這篇文章主要介紹了20行Python代碼實現(xiàn)一款永久免費PDF編輯工具的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-08-08
元組是Python中一種重要的內置數(shù)據(jù)類型。與列表一樣，我們經(jīng)常使用元組將多個對象保存為相應的數(shù)據(jù)容器。本文為大家總結了元組的三個不常用特性，感興趣的小伙伴可以了解一下2022-07-07
Pytorch 如何加速Dataloader提升數(shù)據(jù)讀取速度
這篇文章主要介紹了Pytorch 加速Dataloader提升數(shù)據(jù)讀取速度的操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
這篇文章主要為大家介紹了如何使用Python快速生成定制化的Word文檔實現(xiàn)示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-05-05
python os.system執(zhí)行cmd指令代碼詳解
在本篇文章里小編給大家整理的是一篇關于python os.system執(zhí)行cmd指令代碼詳解內容，有興趣的朋友們可以學習下。2021-10-10
這篇文章主要為大家介紹了python文件的操作和異常的處理，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12