本書介紹了一些主流技術在商業(yè)項目中的應用，包括機器學習中的分類、聚類和線性回歸，搜索引擎，推薦系統(tǒng)，用戶行為跟蹤，架構設計的基本理念及常用的消息和緩存機制。在這個過程中，我們有機會實踐R、Mahout、Solr、Elasticsearch、Hadoop、HBase、Hive、Flume、Kafka、Storm等系統(tǒng)。如前所述，本書最大的特色就是，從商業(yè)需求出發(fā)演變到合理的技術方案和實現(xiàn)，因此根據(jù)不同的應用場景、不同的數(shù)據(jù)集合、不同的進階難度，我們?yōu)樽x者提供了反復溫習和加深印象的機會。

目錄
 

目錄
推薦序
前言
引子 1
第一篇　支持高效的運營
第1章　方案設計和技術選型：分類 5
1.1　分類的基本概念 6
1.2　分類任務的處理流程 7
1.3　算法：樸素貝葉斯和K最近鄰 8
1.3.1　樸素貝葉斯 8
1.3.2　K最近鄰 9
1.4　分類效果評估 10
1.5　相關軟件：R和Mahout 12
1.5.1　R簡介 12
1.5.2　Mahout簡介 13
1.5.3　Hadoop簡介 14
1.6　案例實踐 17
1.6.1　實驗環(huán)境設置 17
1.6.2　中文分詞 18
1.6.3　使用R進行樸素貝葉斯分類 22
1.6.4　使用R進行K最近鄰分類 37
1.6.5　單機環(huán)境使用Mahout運行樸素貝葉斯分類 39
1.6.6　多機環(huán)境使用Mahout運行樸素貝葉斯分類 47
1.7　更多的思考 58
第2章　方案設計和技術選型：聚類 60
2.1　聚類的基本概念 60
2.2　算法：K均值和層次型聚類 61
2.2.1　K均值聚類 61
2.2.2　層次型聚類 62
2.3　聚類的效果評估 64
2.4　案例實踐 66
2.4.1　使用R進行K均值聚類 66
2.4.2　使用Mahout進行K均值聚類 69
第3章　方案設計和技術選型：因變量連續(xù)的回歸分析 74
3.1　線性回歸的基本概念 74
3.2　案例實踐 76
3.2.1　實驗環(huán)境設置 76
3.2.2　R中數(shù)據(jù)的標準化 78
3.2.3　使用R的線性回歸分析 81
第二篇 為顧客發(fā)現(xiàn)喜歡的商品：
基礎篇
第4章　方案設計和技術選型：搜索 94
4.1　搜索引擎的基本概念 94
4.1.1　相關性 95
4.1.2　及時性 97
4.2　搜索引擎的評估 100
4.3　為什么不是數(shù)據(jù)庫 103
4.4　系統(tǒng)框架 104
4.4.1　離線預處理 104
4.4.2　在線查詢 107
4.5　常見的搜索引擎實現(xiàn) 108
4.5.1　Lucene簡介 108
4.5.2　Solr簡介 113
4.5.3　Elasticsearch簡介 120
4.6　案例實踐 123
4.6.1　實驗環(huán)境設置 123
4.6.2　基于Solr的實現(xiàn) 123
4.6.3　基于Elasticsearch的實現(xiàn) 154
4.6.4　統(tǒng)一的搜索API 175
第三篇 為顧客發(fā)現(xiàn)喜歡的商品：高級篇
第5章　方案設計和技術選型：NoSQL和搜索的整合 195
5.1　問題分析 195
5.2　HBase簡介 196
5.3　結合HBase和搜索引擎 203
5.4　案例實踐 204
5.4.1　實驗環(huán)境設置 204
5.4.2　HBase的部署 205
5.4.3　HBase和搜索引擎的集成 211
第6章　方案設計和技術選型：查詢分類和搜索的整合 219
6.1　問題分析 219
6.2　結合分類器和搜索引擎 219
6.3　案例實踐 225
6.3.1　實驗環(huán)境設置 225
6.3.2　構建查詢分類器 226
6.3.3　定制化的搜索排序 229
6.3.4　整合查詢分類和定制化排序 236
第7章　方案設計和技術選型：個性化搜索 245
7.1　問題分析 245
7.2　結合用戶畫像和搜索引擎 245
7.3　案例實踐 249
7.3.1　用戶畫像的讀取 250
7.3.2　個性化搜索引擎 253
7.3.3　結果對比 260
第8章　方案設計和技術選型：搜索分片 267
8.1　問題分析 267
8.2　利用搜索的分片機制 269
8.3　案例實踐 271
8.3.1　Solr路由的實現(xiàn) 271
8.3.2　Elasticsearch路由的實現(xiàn) 278
第9章　方案設計和技術選型：搜索提示 283
9.1　問題分析 283
9.2　案例實踐：基礎方案 284
9.2.1　Solr搜索建議和拼寫糾錯的實現(xiàn) 284
9.2.2　Elasticsearch搜索建議和拼寫糾錯的實現(xiàn) 286
9.3　改進方案 291
9.4　案例實踐：改進方案 294
第10章　方案設計和技術選型：推薦 303
10.1　推薦系統(tǒng)的基本概念 305
10.2　推薦的核心要素 306
10.2.1　系統(tǒng)角色 306
10.2.2　相似度 307
10.2.3　相似度傳播框架 307
10.3　推薦系統(tǒng)的分類 307
10.4　混合模型 311
10.5　系統(tǒng)架構 312
10.6　Mahout中的推薦算法 313
10.7　電商常見的推薦系統(tǒng)方案 314
10.7.1　電商常見的推薦系統(tǒng)方案 314
10.7.2　相似度的計算 317
10.7.3　協(xié)同過濾 319
10.7.4　結果的查詢 320
10.8　案例實踐 321
10.8.1　基于內(nèi)容特征的推薦 321
10.8.2　基于行為特征的推薦 341
第四篇　獲取數(shù)據(jù)，跟蹤效果
第11章　方案設計和技術選型：行為跟蹤 369
11.1　基本概念 370
11.1.1　網(wǎng)站的核心框架 370
11.1.2　行為數(shù)據(jù)的類型 371
11.1.3　行為數(shù)據(jù)的模式 372
11.1.4　設計理念 374
11.2　使用谷歌分析 375
11.3　自行設計之Flume、HDFS和Hive的整合 378
11.3.1　數(shù)據(jù)的收集——Flume簡介 378
11.3.2　數(shù)據(jù)的存儲——Hadoop HDFS回顧 382
11.3.3　批量數(shù)據(jù)分析——Hive簡介 383
11.3.4　Flume、HDFS和Hive的整合方案 386
11.4　自行設計之Flume、Kafka和Storm的整合 386
11.4.1　實時性數(shù)據(jù)分析之Kafka簡介 386
11.4.2　實時性數(shù)據(jù)分析之Storm簡介 388
11.4.3　Flume、Kafka和Storm的整合方案 390
11.5　案例實踐 391
11.5.1　數(shù)據(jù)模式的設計 392
11.5.2　實驗環(huán)境設置 392
11.5.3　谷歌分析實戰(zhàn) 394
11.5.4　自主設計實戰(zhàn)之Flume、HDFS和Hive的整合 401
11.5.5　自主設計實戰(zhàn)之Flume、Kafka和Storm的整合 410
11.6　更多的思考 424
后記 425