對(duì)于很多企業(yè)而言，大數(shù)據(jù)的重要性不言而喻，但是如何構(gòu)建、實(shí)施和應(yīng)用大數(shù)據(jù)系統(tǒng)卻是一個(gè)復(fù)雜工程。本書(shū)讓讀者認(rèn)識(shí)到大數(shù)據(jù)不僅僅是數(shù)據(jù)、技術(shù)、架構(gòu)、應(yīng)用，更是結(jié)合了商業(yè)模式、戰(zhàn)略定位、信息安全、單位協(xié)同、組織保障、實(shí)施選型的完整體系。

本書(shū)內(nèi)容從大數(shù)據(jù)的規(guī)劃定位、組織實(shí)施和價(jià)值提升三個(gè)維度展開(kāi)，兼顧從整體性、全局性、安全性、價(jià)值性、技術(shù)性、體系性等方面的考慮。

第一部分：企業(yè)大數(shù)據(jù)戰(zhàn)略規(guī)劃

主要從宏觀的角度介紹大數(shù)據(jù)的定位、組織保障、解決方案選擇和自主實(shí)施思路，目的是從全局角度引導(dǎo)建立大數(shù)據(jù)工作的整體思維。

第二部分：企業(yè)大數(shù)據(jù)落地實(shí)施

主要從執(zhí)行層面介紹了大數(shù)據(jù)落地相關(guān)的技術(shù)、架構(gòu)、開(kāi)發(fā)、大數(shù)據(jù)工作流、應(yīng)用和價(jià)值評(píng)估，直接以落地視角解讀大數(shù)據(jù)工作中每個(gè)環(huán)節(jié)涉及到的流程、知識(shí)和方法，這也是本書(shū)的核心章節(jié)。

第三部分：大數(shù)據(jù)價(jià)值、變革和挑戰(zhàn)

主要涉及大數(shù)據(jù)的社會(huì)價(jià)值、當(dāng)前問(wèn)題和挑戰(zhàn)以及大數(shù)據(jù)的未來(lái)趨勢(shì)，這是對(duì)現(xiàn)有大數(shù)據(jù)工作的延展以及未來(lái)趨勢(shì)的探索。

目錄

Contents 目　　錄
前言
第1章 企業(yè)大數(shù)據(jù)戰(zhàn)略定位 1
1.1 宏觀 1
1.2 微觀 4
1.2.1 資源協(xié)同 5
1.2.2 戰(zhàn)略定位 6
1.2.3 啟動(dòng)契機(jī) 7
1.2.4 大數(shù)據(jù)歷程 9
1.3 本章小結(jié) 12
第2章 企業(yè)大數(shù)據(jù)職能規(guī)劃 13
2.1 大數(shù)據(jù)組織架構(gòu)體系 13
2.1.1 大數(shù)據(jù)部門在企業(yè)中的角色 13
2.1.2 常見(jiàn)的大數(shù)據(jù)職能及職責(zé) 17
2.2 大數(shù)據(jù)職位構(gòu)建體系 24
2.2.1 基礎(chǔ)平臺(tái)類 24
2.2.2 數(shù)據(jù)管理類 26
2.2.3 技術(shù)研發(fā)類 27
2.2.4 產(chǎn)品設(shè)計(jì)類 30
2.2.5 數(shù)據(jù)挖掘類 32
2.2.6 數(shù)據(jù)分析類 33
2.3 大數(shù)據(jù)制度和流程規(guī)范 35
2.3.1 制度和流程規(guī)范意義 35
2.3.2 制度和流程規(guī)范內(nèi)容 35
2.3.3 制度和流程規(guī)范模板 42
2.4 本章小結(jié) 44
第3章 企業(yè)大數(shù)據(jù)解決方案 45
3.1 企業(yè)大數(shù)據(jù)解決方案實(shí)現(xiàn)方式 45
3.1.1 獨(dú)立研發(fā) 45
3.1.2 第三方解決方案 46
3.1.3 聯(lián)合開(kāi)發(fā) 57
3.2 如何選擇解決方案 58
3.2.1 外部環(huán)境分析 58
3.2.2 內(nèi)部環(huán)境分析 59
3.2.3 需求規(guī)劃分析 62
3.2.4 解決方案特性分析 63
3.2.5 解決方案費(fèi)用評(píng)估 67
3.3 本章小結(jié) 70
第4章 企業(yè)大數(shù)據(jù)自主實(shí)施思路 71
4.1 制定規(guī)劃原則 71
4.1.1 價(jià)值性 71
4.1.2 實(shí)時(shí)性 72
4.1.3 高效性 72
4.1.4 安全性 72
4.1.5 延展性 73
4.1.6 全局性 74
4.2 制定目標(biāo)藍(lán)圖 75
4.3 制定建設(shè)目標(biāo) 76
4.4 明確組織規(guī)劃 78
4.4.1 組織結(jié)構(gòu)設(shè)計(jì)的作用 79
4.4.2 組織結(jié)構(gòu)設(shè)立的導(dǎo)向 79
4.4.3 組織結(jié)構(gòu)的最終設(shè)立 81
4.5 設(shè)計(jì)技術(shù)方案 85
4.5.1 大數(shù)據(jù)系統(tǒng)建設(shè)方案 85
4.5.2 大數(shù)據(jù)系統(tǒng)與傳統(tǒng)BI的融合方案 91
4.6 制定人才規(guī)劃 94
4.6.1 指導(dǎo)思想 94
4.6.2 規(guī)劃原則 94
4.6.3 核心內(nèi)容 95
4.7 投入產(chǎn)出評(píng)估 97
4.7.1 數(shù)據(jù)投入與產(chǎn)出的內(nèi)涵 97
4.7.2 數(shù)據(jù)投入與產(chǎn)出的特征 98
4.7.3 數(shù)據(jù)投入與產(chǎn)出的管理 99
4.8 數(shù)據(jù)風(fēng)險(xiǎn)管理 105
4.8.1 數(shù)據(jù)風(fēng)險(xiǎn)管理的概念 105
4.8.2 數(shù)據(jù)風(fēng)險(xiǎn)管理的類型 106
4.8.3 數(shù)據(jù)風(fēng)險(xiǎn)管理的原則 109
4.8.4 數(shù)據(jù)風(fēng)險(xiǎn)管理與控制 110
4.9 本章小結(jié) 114
第5章 大數(shù)據(jù)技術(shù)介紹 115
5.1 核心技術(shù) 115
5.1.1 Hadoop生態(tài) 115
5.1.2 NoSQL 142
5.1.3 實(shí)時(shí)計(jì)算 150
5.1.4 全文檢索 160
5.2 相關(guān)技術(shù) 204
5.2.1 數(shù)據(jù)可視化 204
5.2.2 數(shù)據(jù)緩存 220
5.2.3 中間件 227
5.2.4 關(guān)系型數(shù)據(jù)庫(kù) 236
5.2.5 數(shù)據(jù)ETL 245
5.3 大數(shù)據(jù)算法庫(kù) 250
5.4 本章小結(jié) 276
第6章 大數(shù)據(jù)架構(gòu)設(shè)計(jì) 277
6.1 大數(shù)據(jù)架構(gòu)設(shè)計(jì)原則 277
6.2 大數(shù)據(jù)核心架構(gòu)要素 279
6.3 大數(shù)據(jù)架構(gòu)設(shè)計(jì)模式 284
6.4 本章小結(jié) 289
第7章 大數(shù)據(jù)技術(shù)開(kāi)發(fā) 290
7.1 數(shù)據(jù)采集 290
7.1.1 批量采集 291
7.1.2 增量采集 292
7.2 數(shù)據(jù)存儲(chǔ) 293
7.2.1 HDFS文件存儲(chǔ)引擎 294
7.2.2 Hive數(shù)據(jù)存儲(chǔ)引擎 295
7.2.3 HBase列式存儲(chǔ)引擎 295
7.2.4 MySQL關(guān)系型數(shù)據(jù)存儲(chǔ)引擎 296
7.3 多維計(jì)算 296
7.4 功能服務(wù) 299
7.5 平臺(tái)管理 301
7.5.1 監(jiān)控管理 301
7.5.2 調(diào)度管理 302
7.5.3 權(quán)限管理 304
7.6 應(yīng)用域 307
7.7 本章小結(jié) 308
第8章 大數(shù)據(jù)工作流 309
8.1 數(shù)據(jù)源 310
8.1.1 日志/文件 310
8.1.2 數(shù)據(jù)庫(kù) 310
8.1.3 網(wǎng)絡(luò)爬蟲(chóng) 311
8.1.4 第三方API/合作 311
8.2 數(shù)據(jù)處理 312
8.2.1 數(shù)據(jù)質(zhì)量校驗(yàn) 312
8.2.2 清洗轉(zhuǎn)換 316
8.2.3 質(zhì)量提升 320
8.2.4 數(shù)據(jù)脫敏 321
8.2.5 集成整合 323
8.3 數(shù)據(jù)存儲(chǔ) 324
8.3.1 關(guān)系型數(shù)據(jù)庫(kù) 324
8.3.2 分布式文件系統(tǒng) 325
8.4 數(shù)據(jù)計(jì)算 325
8.4.1 三種數(shù)據(jù)計(jì)算時(shí)效性 325
8.4.2 結(jié)構(gòu)化數(shù)據(jù)計(jì)算 327
8.4.3 半/非結(jié)構(gòu)化數(shù)據(jù)計(jì)算 333
8.4.4 深度挖掘?qū)W習(xí) 360
8.5 數(shù)據(jù)應(yīng)用 376
8.5.1 輔助決策 376
8.5.2 數(shù)據(jù)驅(qū)動(dòng) 377
8.6 數(shù)據(jù)質(zhì)量管理 379
8.6.1 數(shù)據(jù)質(zhì)量建設(shè)的內(nèi)涵 379
8.6.2 影響數(shù)據(jù)質(zhì)量的常見(jiàn)因素 380
8.6.3 數(shù)據(jù)質(zhì)量建設(shè)的框架 381
8.7 本章小結(jié) 392
第9章 企業(yè)大數(shù)據(jù)業(yè)務(wù)應(yīng)用 393
9.1 大數(shù)據(jù)應(yīng)用場(chǎng)景概述 393
9.1.1 場(chǎng)景商業(yè)目的分析 394
9.1.2 場(chǎng)景數(shù)據(jù)來(lái)源分析 394
9.1.3 場(chǎng)景數(shù)據(jù)難易分析 397
9.1.4 場(chǎng)景應(yīng)用舉例 397
9.2 用戶畫(huà)像 407
9.2.1 業(yè)務(wù)應(yīng)用背景 407
9.2.2 主要實(shí)現(xiàn)過(guò)程 408
9.2.3 關(guān)鍵應(yīng)用場(chǎng)景 414
9.2.4 應(yīng)用價(jià)值提煉 415
9.2.5 場(chǎng)景總結(jié)回顧 417
9.3 個(gè)性化營(yíng)銷 419
9.3.1 業(yè)務(wù)應(yīng)用背景 419
9.3.2 主要實(shí)現(xiàn)過(guò)程 421
9.3.3 關(guān)鍵應(yīng)用場(chǎng)景 424
9.3.4 應(yīng)用價(jià)值提煉 425
9.3.5 場(chǎng)景總結(jié)回顧 426
9.4 精準(zhǔn)廣告 427
9.4.1 業(yè)務(wù)應(yīng)用背景 427
9.4.2 主要實(shí)現(xiàn)過(guò)程 429
9.4.3 關(guān)鍵應(yīng)用場(chǎng)景 438
9.4.4 應(yīng)用價(jià)值提煉 439
9.4.5 場(chǎng)景總結(jié)回顧 440
9.5 征信 441
9.5.1 應(yīng)用場(chǎng)景背景 441
9.5.2 主要實(shí)現(xiàn)過(guò)程 442
9.5.3 主要應(yīng)用場(chǎng)景 447
9.5.4 應(yīng)用價(jià)值提煉 449
9.5.5 場(chǎng)景總結(jié)回顧 449
9.6 本章小結(jié) 450
第10章　企業(yè)大數(shù)據(jù)價(jià)值評(píng)估 451
10.1　資產(chǎn)價(jià)值 451
10.1.1　數(shù)據(jù)規(guī)模 451
10.1.2　數(shù)據(jù)價(jià)值度 452
10.1.3　數(shù)據(jù)鮮活性 454
10.1.4　數(shù)據(jù)關(guān)聯(lián)維度 454
10.1.5　數(shù)據(jù)粒度 455
10.2　業(yè)務(wù)價(jià)值 455
10.2.1　用戶體驗(yàn)提升 455
10.2.2　運(yùn)營(yíng)優(yōu)化 457
10.2.3　銷售貢獻(xiàn) 460
10.2.4　供應(yīng)鏈優(yōu)化 461
10.3　本章小結(jié) 462
第11章　大數(shù)據(jù)的社會(huì)價(jià)值 463
11.1　民生價(jià)值 463
11.2　政務(wù)價(jià)值 465
11.3　產(chǎn)業(yè)價(jià)值 468
11.4　本章小結(jié) 470
第12章　大數(shù)據(jù)當(dāng)前問(wèn)題及挑戰(zhàn) 471
12.1　數(shù)據(jù)挑戰(zhàn) 471
12.2　安全挑戰(zhàn) 472
12.3　價(jià)值挑戰(zhàn) 474
12.4　認(rèn)知挑戰(zhàn) 475
12.5　技術(shù)挑戰(zhàn) 478
12.6　人才挑戰(zhàn) 480
12.7　本章小結(jié) 481
第13章　大數(shù)據(jù)未來(lái)趨勢(shì) 482
13.1　價(jià)值資產(chǎn)化 482
13.2　產(chǎn)業(yè)生態(tài)化 487
13.3　主體社會(huì)化 490
13.4　應(yīng)用智能化 491
13.5　本章小結(jié) 492