《大數(shù)據(jù)與機器學習:實踐方法與行業(yè)案例》從企業(yè)實踐出發(fā)，內容覆蓋數(shù)據(jù)、平臺、分析和應用等企業(yè)內數(shù)據(jù)流轉的主要環(huán)節(jié)。布局上，按照數(shù)據(jù)與平臺篇、分析篇和應用篇分別撰寫。數(shù)據(jù)與平臺篇（第1~3章），立足找到數(shù)據(jù)、整合數(shù)據(jù)、使用數(shù)據(jù)三個角度，介紹數(shù)據(jù)在企業(yè)內的分布和處理邏輯，以便快速為分析準備素材。分析篇（第4~11章），選取企業(yè)實際案例，介紹常用的數(shù)據(jù)挖掘與機器學習算法，以業(yè)務場景為導向展示數(shù)據(jù)分析過程和技巧。應用篇（第12~15章），選取當前主流的四個應用場景，介紹如何實現(xiàn)數(shù)據(jù)驅動，讓數(shù)據(jù)“自動”流轉于各個環(huán)節(jié)。

目錄

前言
第1部分　數(shù)據(jù)與平臺篇
第1章　數(shù)據(jù)與數(shù)據(jù)平臺3
1.1　數(shù)據(jù)的基本形態(tài)4
1.1.1　數(shù)據(jù)環(huán)境與數(shù)據(jù)形態(tài)4
1.1.2　生產數(shù)據(jù)5
1.1.3　原始數(shù)據(jù)5
1.1.4　分析數(shù)據(jù)6
1.2　數(shù)據(jù)平臺7
1.2.1　數(shù)據(jù)倉庫平臺9
1.2.2　大數(shù)據(jù)平臺13
1.2.3　MPP數(shù)據(jù)庫22
1.2.4　NoSQL數(shù)據(jù)庫23
1.3　應用24
1.4　本章小結25
第2章　數(shù)據(jù)體系26
2.1　數(shù)據(jù)閉環(huán)27
2.2　數(shù)據(jù)緩沖區(qū)28
2.2.1　解耦29
2.2.2　批量導出31
2.2.3　FTP傳輸40
2.2.4　批量導入42
2.3　ETL49
2.3.1　ETL工具50
2.3.2　ETL作業(yè)52
2.4　作業(yè)調度56
2.5　監(jiān)控和預警56
2.5.1　使用監(jiān)控工具進行監(jiān)控57
2.5.2　使用BI工具進行監(jiān)控57
2.6　本章小結57
第3章　實戰(zhàn)：打造數(shù)據(jù)閉環(huán)59
3.1　數(shù)據(jù)緩沖區(qū)的基本規(guī)則60
3.1.1　文件存儲規(guī)則61
3.1.2　文件命名規(guī)則61
3.1.3　文件清理規(guī)則62
3.2　自動加載的流程62
3.2.1　掃描文件63
3.2.2　下載文件64
3.2.3　解壓文件65
3.2.4　加載文件65
3.3　自動加載程序的數(shù)據(jù)庫設計66
3.3.1　數(shù)據(jù)文件信息表67
3.3.2　數(shù)據(jù)文件狀態(tài)表68
3.3.3　加載配置信息表69
3.3.4　數(shù)據(jù)緩沖區(qū)信息表70
3.3.5　目標服務器表70
3.4　自動加載程序的多線程實現(xiàn)71
3.4.1　ScanFiles72
3.4.2　DownLoadAndUnZip75
3.4.3　LoadToHive77
3.4.4　LoadToOracle78
3.4.5　自動加載程序的部署架構79
3.4.6　程序的維護和優(yōu)化80
3.5　本章小結80
第二部分　分　析　篇
第4章　數(shù)據(jù)預處理83
4.1　數(shù)據(jù)表的預處理84
4.2　變量的預處理85
4.2.1　缺失值的處理85
4.2.2　極值的處理90
4.3　變量的設計91
4.3.1　暴力衍生91
4.3.2　交叉升維92
4.4　變量篩選95
4.4.1　篩選顯著變量95
4.4.2　剔除共線性96
4.5　本章小結100
第5章　聚類，簡單易用的客戶細分方法101
5.1　從客戶細分說起102
5.1.1　為什么要做客戶細分102
5.1.2　怎么做客戶細分103
5.1.3　聚類分析，無監(jiān)督的客戶細分方法107
5.2　譜系聚類107
5.2.1　基本步驟107
5.2.2　案例：公司客戶差異化服務110
5.2.3　譜系聚類方法的題外話115
5.3　K-means算法116
5.3.1　基本步驟116
5.3.2　案例：電商賣家細分117
5.3.3　K-means算法的題外話121
5.4　本章小結121
第6章　關聯(lián)規(guī)則挖掘，發(fā)現(xiàn)產品
加載和交叉銷售機會122
6.1　銷售的真諦：讓客戶買得更多123
6.1.1　案例：電商的生意經123
6.1.2　案例：富國銀行的“商店”經營模式124
6.1.3　案例總結125
6.2　交叉銷售126
6.2.1　為什么要做交叉銷售126
6.2.2　怎么做交叉銷售126
6.3　關聯(lián)規(guī)則挖掘，發(fā)現(xiàn)交叉銷售機會128
6.3.1　Apriori算法129
6.3.2　Apriori算法的主要指標129
6.3.3　Apriori算法的基本步驟131
6.4　案例：信用卡產品交叉銷售131
6.4.1　準備數(shù)據(jù)132
6.4.2　SAS實現(xiàn)132
6.4.3　結果分析133
6.4.4　序列關聯(lián)分析136
6.4.5　結果應用137
6.5　本章小結138
第7章　社交網絡分析，從“關系
的角度分析問題139
7.1　先看幾張美輪美奐的圖片140
7.2　社交網絡分析方法142
7.2.1　定義142
7.2.2　應用場景142
7.2.3　網絡識別算法143
7.3　案例：電商通過訂單數(shù)據(jù)識別供應鏈144
7.3.1　供應鏈及供應鏈金融144
7.3.2　識別核心企業(yè)及其上下游關系144
7.3.3　分析結果的業(yè)務應用149
7.4　案例：P2P投資防范151
7.4.1　案例背景151
7.4.2　防范方法152
7.5　本章小結153
第8章　線性回歸，預測客戶價值155
8.1　數(shù)值預測156
8.2　回歸與擬合157
8.2.1　回歸就是擬合157
8.2.2　在Excel中添加趨勢線預測158
8.3　案例：信用卡客戶價值預測159
8.3.1　確定預測目標159
8.3.2　準備建模數(shù)據(jù)161
8.3.3　模型擬合163
8.3.4　模型評估165
8.4　基于客戶價值分層的業(yè)務策略167
8.5　本章小結167
第9章　Logistic回歸，精準營銷的
主要支撐算法169
9.1　大數(shù)據(jù)時代的精準營銷170
9.1.1　精準營銷170
9.1.2　基于大數(shù)據(jù)的精準營銷模式171
9.1.3　如何做到精準172
9.2　Logistic回歸算法介紹173
9.2.1　算法原理173
9.2.2　關鍵步驟174
9.3　案例：信用卡消費信貸產品的精準營銷176
9.3.1　案例背景176
9.3.2　數(shù)據(jù)準備176
9.3.3　數(shù)據(jù)預處理180
9.3.4　建模182
9.3.5　模型評估185
9.4　預測模型的應用與評估189
9.5　本章小結189
第10章　決策樹類算法，反欺詐
模型“專家”191
10.1　決策樹，重要的分類器191
10.2　決策樹的關鍵思想192
10.2.1　理財客戶畫像案例背景192
10.2.2　關鍵思想1：遞歸劃分194
10.2.3　關鍵思想二：剪枝197
10.3　案例：電商盜卡交易識別198
10.3.1　案例背景198
10.3.2　以SAS實現(xiàn)199
10.3.3　以Clementine實現(xiàn)201
10.3.4　以R實現(xiàn)204
10.4　隨機森林208
10.5　本章小結209
第11章　數(shù)據(jù)可視化，是分析更是
設計210
11.1　數(shù)據(jù)演示之道210
11.1.1　好“色”之圖211
11.1.2　版式有形212
11.1.3　數(shù)據(jù)發(fā)聲214
11.2　個性化地圖215
11.2.1　案例背景：存款增長率指標展示215
11.2.2　獲取地理位置的經緯度數(shù)據(jù)216
11.2.3　定制地圖背景和圖標217
11.2.4　生成地圖220
11.3　文本分析222
11.3.1　案例：電商的客戶評價分析222
11.3.2　分詞223
11.3.3　詞云制作224
11.3.4　情感分析225
11.4　本章小結227
第三部分　應　用　篇
第12章　標簽231
12.1　認識標簽231
12.2　標簽的設計233
12.2.1　標簽的層次結構233
12.2.2　標簽的更新規(guī)則233
12.2.3　機器學習模型轉化為標簽235
12.3　標簽的實現(xiàn)236
12.3.1　標簽映射表237
12.3.2　標簽的前端實現(xiàn)238
12.3.3　標簽的數(shù)據(jù)后端實現(xiàn)238
12.3.4　標簽的在線接口實現(xiàn)242
12.4　本章小結242
第13章　數(shù)據(jù)自助營銷平臺244
13.1　數(shù)據(jù)自助營銷平臺的價值所在245
13.1.1　自動化營銷，提升工作效率245
13.1.2　降低營銷成本，提升用戶體驗247
13.1.3　個性化營銷，提升響應率248
13.1.4　統(tǒng)1管理，便于效果追蹤249
13.2　數(shù)據(jù)自助營銷平臺的實現(xiàn)原則249
13.2.1　數(shù)據(jù)營銷活動的節(jié)點249
13.2.2　數(shù)據(jù)自助營銷平臺的基礎：標簽251
13.2.3　數(shù)據(jù)自助營銷平臺的批量任務252
13.2.4　實時數(shù)據(jù)營銷254
13.3　數(shù)據(jù)自助營銷平臺的場景實例254
13.3.1　客戶生命周期管理254
13.3.2　用卡激勵計劃257
13.4　本章小結260
第14章　基于Mahout的個性化261
14.1　Mahout的引擎262
14.1.1　Mahout的安裝配置262
14.1.2　Mahout的使用方式263
14.1.3　協(xié)同過濾算法264
14.1.4　Mahout的引擎265
14.2　規(guī)模與效率268
14.2.1　Mahout算法的適用范圍268
14.2.2　通過分布式解決規(guī)模和效率的問題270
14.3　實現(xiàn)1個275
14.3.1　框架275
14.3.2　的刷新276
14.3.3　部署1個可用的276
14.4　本章小結280
第15章　圖計算與社會網絡281
15.1　社會網絡和屬性圖282
15.2　Spark GraphX與Neo4j283
15.2.1　Scala編程語言284
15.2.2　Cypher查詢語言285
15.3　使用Spark GraphX和Neo4j處理社會網絡286
15.3.1　背景說明286
15.3.2　數(shù)據(jù)準備286
15.3.3　Spark GraphX處理原始網絡287
15.3.4　Neo4j交互式查詢分析291
15.3.5　更多的應用場景295
15.4　本章小結296