深度學(xué)習(xí)為人工智能帶來(lái)了巨大突破，也成為機(jī)器學(xué)習(xí)領(lǐng)域一顆閃耀的新星。雖然相關(guān)學(xué)習(xí)資料豐富，但大部分內(nèi)容較為龐雜且難以理解，并對(duì)初學(xué)者的相關(guān)理論知識(shí)與實(shí)踐能力有較高的要求，這使得大部分想進(jìn)入這一領(lǐng)域的初學(xué)者望而卻步。本書去繁化簡(jiǎn)地對(duì)深度學(xué)習(xí)的理論知識(shí)進(jìn)行了梳理，并對(duì)算法實(shí)現(xiàn)做出了淺顯易懂的講解，適合初學(xué)者進(jìn)行學(xué)習(xí)。結(jié)合本書的內(nèi)容，讀者可以快速對(duì)深度學(xué)習(xí)進(jìn)行實(shí)踐。通過(guò)啟發(fā)式的自學(xué)模式，可以使讀者由淺入深地學(xué)習(xí)并掌握常用的深度學(xué)習(xí)模型，為進(jìn)一步使用開源的深度學(xué)習(xí)平臺(tái)與工具提供理論與實(shí)踐基礎(chǔ)。 本書可作為高等院校計(jì)算機(jī)專業(yè)的本科生或研究生教材，也可供對(duì)深度學(xué)習(xí)感興趣的研究人員和工程技術(shù)人員閱讀參考。

目錄

第1章 深度學(xué)習(xí)的發(fā)展介紹 1
1.1 如何閱讀本書 3
1.2 深度學(xué)習(xí)沉浮史 3
1.2.1 模擬生物大腦的瘋狂遠(yuǎn)古時(shí)代 4
1.2.2 聯(lián)結(jié)主義近代 5
1.2.3 百花齊放，層次結(jié)構(gòu)主導(dǎo)，模型巨大的當(dāng)代 6
1.3 Python簡(jiǎn)易教程 7
1.3.1 Anaconda搭建 7
1.3.2 IPython Notebook使用 7
1.3.3 Python基本用法 8
1.3.4 NumPy 15
1.3.5 Matplotlib 23
1.4 參考文獻(xiàn) 25
第2章機(jī)器學(xué)習(xí)快速入門 27
2.1 學(xué)習(xí)算法 28
2.1.1 學(xué)習(xí)任務(wù) 29
2.1.2 性能度量 30
2.1.3 學(xué)習(xí)經(jīng)驗(yàn) 32
2.2 代價(jià)函數(shù) 33
2.2.1 均方誤差函數(shù) 33
2.2.2 極大似然估計(jì) 34
2.3 梯度下降法 36
2.3.1 批量梯度下降法 38
2.3.2 隨機(jī)梯度下降法 39
2.4 過(guò)擬合與欠擬合 40
2.4.1 沒(méi)免費(fèi)午餐理論 42
2.4.2 正則化 43
2.5 超參數(shù)與驗(yàn)證集 44
2.6 Softmax編碼實(shí)戰(zhàn) 46
2.6.1 編碼說(shuō)明 49
2.6.2 熟練使用CIFAR-10 數(shù)據(jù)集 50
2.6.3 顯式循環(huán)計(jì)算損失函數(shù)及其梯度 53
2.6.4 向量化表達(dá)式計(jì)算損失函數(shù)及其梯度 56
2.6.5 最小批量梯度下降算法訓(xùn)練Softmax分類器 57
2.6.6 使用驗(yàn)證數(shù)據(jù)選擇超參數(shù) 61
2.7 參考代碼 68
2.8 參考文獻(xiàn) 70
第3章前饋神經(jīng)網(wǎng)絡(luò) 72
3.1 神經(jīng)元 73
3.1.1 Sigmoid神經(jīng)元 74
3.1.2 Tanh神經(jīng)元 75
3.1.3 ReLU神經(jīng)元 76
3.2 前饋神經(jīng)網(wǎng)絡(luò) 80
3.2.1 輸出層單元 80
3.2.2 隱藏層單元 80
3.2.3 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 81
3.3 BP算法 82
3.4 深度學(xué)習(xí)編碼實(shí)戰(zhàn)上 86
3.4.1 實(shí)現(xiàn)仿射傳播 88
3.4.2 實(shí)現(xiàn)ReLU傳播 91
3.4.3 組合單層神經(jīng)元 93
3.4.4 實(shí)現(xiàn)淺層神經(jīng)網(wǎng)絡(luò) 96
3.4.5 實(shí)現(xiàn)深層全連接網(wǎng)絡(luò) 101
3.5 參考代碼 109
3.6 參考文獻(xiàn) 113
第4章深度學(xué)習(xí)正則化 115
4.1 參數(shù)范數(shù)懲罰 116
4.1.1 L2參數(shù)正則化 118
4.1.2 L1正則化 119
4.2 參數(shù)綁定與參數(shù)共享 120
4.3 噪聲注入與數(shù)據(jù)擴(kuò)充 120
4.4 稀疏表征 122
4.5 早停 123
4.6 Dropout 126
4.6.1 個(gè)體與集成 126
4.6.2 Dropout 127
4.7 深度學(xué)習(xí)編碼實(shí)戰(zhàn)中 129
4.7.1 Dropout傳播 131
4.7.2 組合Dropout傳播層 134
4.7.3 Dropout神經(jīng)網(wǎng)絡(luò) 136
4.7.4 解耦訓(xùn)練器trainer 138
4.7.5 解耦更新器updater 143
4.7.6 正則化實(shí)驗(yàn) 145
4.8 參考代碼 148
4.9 參考文獻(xiàn) 150
第5章深度學(xué)習(xí)優(yōu)化 152
5.1 神經(jīng)網(wǎng)絡(luò)優(yōu)化困難 153
5.1.1 局部最優(yōu) 153
5.1.2 鞍點(diǎn) 154
5.1.3 梯度懸崖 154
5.1.4 梯度消失或梯度爆炸 155
5.1.5 梯度不精確 156
5.1.6 優(yōu)化理論的局限性 156
5.2 隨機(jī)梯度下降 156
5.3 動(dòng)量學(xué)習(xí)法 158
5.4 AdaGrad和RMSProp 159
5.5 Adam 160
5.6 參數(shù)初始化策略 161
5.7 批量歸一化 163
5.7.1 BN算法詳解 163
5.7.2 BN傳播詳解 165
5.8 深度學(xué)習(xí)編碼實(shí)戰(zhàn)下 166
5.8.1 Momentum 167
5.8.2 RMSProp 171
5.8.3 Adam 172
5.8.4 更新規(guī)則比較 174
5.8.5 BN前向傳播 176
5.8.6 BN反向傳播 180
5.8.7 使用BN的全連接網(wǎng)絡(luò) 182
5.8.8 BN算法與權(quán)重標(biāo)準(zhǔn)差比較 188
5.9 參考代碼 191
5.10 參考文獻(xiàn) 195
第6章卷積神經(jīng)網(wǎng)絡(luò) 196
6.1 卷積操作 197
6.2 卷積的意義 198
6.2.1 稀疏連接 199
6.2.2 參數(shù)共享 200
6.3 池化操作 201
6.4 設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò) 204
6.4.1 跨步卷積 204
6.4.2 零填充 205
6.4.3 非共享卷積 206
6.4.4 平鋪卷積 207
6.5 卷積網(wǎng)絡(luò)編碼練習(xí) 208
6.5.1 卷積前向傳播 209
6.5.2 卷積反向傳播 212
6.5.3 最大池化前向傳播 215
6.5.4 最大池化反向傳播 218
6.5.5 向量化執(zhí)行 220
6.5.6 組合完整卷積層 223
6.5.7 淺層卷積網(wǎng)絡(luò) 224
6.5.8 空間批量歸一化 229
6.6 參考代碼 233
6.7 參考文獻(xiàn) 237
第7章循環(huán)神經(jīng)網(wǎng)絡(luò) 238
7.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 239
7.1.1 循環(huán)神經(jīng)元展開 239
7.1.2 循環(huán)網(wǎng)絡(luò)訓(xùn)練 240
7.2 循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì) 242
7.2.1 雙向循環(huán)網(wǎng)絡(luò)結(jié)構(gòu) 242
7.2.2 編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu) 243
7.2.3 深度循環(huán)網(wǎng)絡(luò)結(jié)構(gòu) 244
7.3 門控循環(huán)神經(jīng)網(wǎng)絡(luò) 245
7.3.1 LSTM 246
7.3.2 門控循環(huán)單元 249
7.4 RNN編程練習(xí) 250
7.4.1 RNN單步傳播 252
7.4.2 RNN時(shí)序傳播 255
7.4.3 詞嵌入 258
7.4.4 RNN輸出層 261
7.4.5 時(shí)序Softmax損失 262
7.4.6 RNN圖片說(shuō)明任務(wù) 264
7.5 LSTM編程練習(xí) 269
7.5.1 LSTM單步傳播 269
7.5.2 LSTM時(shí)序傳播 273
7.5.3 LSTM實(shí)現(xiàn)圖片說(shuō)明任務(wù) 276
7.6 參考代碼 278
7.6.1 RNN參考代碼 278
7.6.2 LSTM參考代碼 282
7.7 參考文獻(xiàn) 285
第8章 TensorFlow快速入門 287
8.1 TensorFlow介紹 288
8.2 TensorFlow1.0安裝指南 289
8.2.1 雙版本切換Anaconda 289
8.2.2 安裝CUDA 8.0 291
8.2.3 安裝cuDNN 292
8.2.4 安裝TensorFlow 293
8.2.5 驗(yàn)證安裝 294
8.3 TensorFlow基礎(chǔ) 295
8.3.1 Tensor 295
8.3.2 TensorFlow核心API教程 296
8.3.3 tf.train API 299
8.3.4 tf.contrib.learn 301
8.4 TensorFlow構(gòu)造CNN 305
8.4.1 構(gòu)建Softmax模型 305
8.4.2 使用TensorFlow訓(xùn)練模型 307
8.4.3 使用TensorFlow評(píng)估模型 308
8.4.4 使用TensorFlow構(gòu)建卷積神經(jīng)網(wǎng)絡(luò) 308
8.5 TensorBoard快速入門 311
8.5.1 TensorBoard可視化學(xué)習(xí) 312
8.5.2 計(jì)算圖可視化 316