《Hadoop云計(jì)算實(shí)戰(zhàn)》全面介紹了云計(jì)算的基本概念、Google（谷歌）云計(jì)算的關(guān)鍵技術(shù)，以及Hadoop云計(jì)算的相關(guān)配套項(xiàng)目及其實(shí)戰(zhàn)，包括Hadoop的HDFS、MapReduce、HBase、Hive、Pig、Cassandra、Chukwa及ZooKeeper等配套項(xiàng)目的實(shí)現(xiàn)機(jī)制、用法及應(yīng)用。

目錄
第1章 云計(jì)算概論 1
1.1 云計(jì)算概述 1
1.1.1 云計(jì)算的定義 1
1.1.2 云計(jì)算產(chǎn)生的背景 2
1.1.3 云時(shí)代誰是主角 3
1.1.4 云計(jì)算的特征 4
1.1.5 云計(jì)算的發(fā)展史 5
1.1.6 云計(jì)算的服務(wù)層次 7
1.1.7 云計(jì)算的服務(wù)形式 7
1.1.8 云計(jì)算的實(shí)現(xiàn)機(jī)制 9
1.1.9 云計(jì)算研究方向 11
1.1.10 云計(jì)算發(fā)展趨勢 12
1.2 云計(jì)算關(guān)鍵技術(shù)研究 14
1.2.1 虛擬化技術(shù) 14
1.2.2 數(shù)據(jù)存儲技術(shù) 15
1.2.3 資源管理技術(shù) 17
1.2.4 能耗管理技術(shù) 18
1.2.5 云監(jiān)測技術(shù) 19
1.3 云計(jì)算應(yīng)用研究 22
1.3.1 語義分析應(yīng)用 22
1.3.2 IT企業(yè)應(yīng)用 22
1.3.3 生物學(xué)應(yīng)用 23
1.3.4 電信企業(yè)應(yīng)用 24
1.3.5 數(shù)據(jù)庫的應(yīng)用 27
1.3.6 地理信息應(yīng)用 28
1.3.7 醫(yī)學(xué)應(yīng)用 29
1.4 云安全 30
1.4.1 云安全發(fā)展趨勢 31
1.4.2 云安全與網(wǎng)絡(luò)安全的差別 31
1.4.3 云安全研究的方向 31
1.4.4 云安全難點(diǎn)問題 32
1.4.5 云安全新增及增強(qiáng)功能 32
1.5 云計(jì)算生命周期 33
1.6 云計(jì)算存在的問題 34
1.7 云計(jì)算的優(yōu)缺點(diǎn) 35
第2章 Hadoop相關(guān)項(xiàng)目介紹 37
2.1 Hadoop簡介 37
2.1.1 Hadoop的基本架構(gòu) 37
2.1.2 Hadoop文件系統(tǒng)結(jié)構(gòu) 40
2.1.3 Hadoop文件讀操作 41
2.1.4 Hadoop文件寫操作 42
2.2 Hadoop系統(tǒng)性質(zhì) 42
2.2.1 可靠存儲性 43
2.2.2 數(shù)據(jù)均衡 43
2.3 比較SQL數(shù)據(jù)庫與Hadoop 44
2.4 MapReduce概述 45
2.4.1 MapReduce實(shí)現(xiàn)機(jī)制 45
2.4.2 MapReduce執(zhí)行流程 46
2.4.3 MapReduce映射和化簡 47
2.4.4 MapReduce輸入格式 47
2.4.5 MapReduce輸出格式 48
2.4.6 MapReduce運(yùn)行速度 48
2.5 HBase概述 48
2.5.1 HBase的系統(tǒng)框架 49
2.5.2 HBase訪問接口 51
2.5.3 HBase的存儲格式 52
2.5.4 HBase的讀寫流程 52
2.5.5 Hbase的優(yōu)缺點(diǎn) 53
2.6 ZooKeeper概述 53
2.6.1 為什么需要ZooKeeper 54
2.6.2 ZooKeeper設(shè)計(jì)目標(biāo) 54
2.6.3 ZooKeeper數(shù)據(jù)模型 54
2.6.4 ZooKeeper工作原理 55
2.6.5 ZooKeeper實(shí)現(xiàn)機(jī)制 56
2.6.6 ZooKeeper的特性 57
2.7 Hive概述 58
2.7.1 Hive的組成 59
2.7.2 Hive結(jié)構(gòu)解析 59
2.8 Pig概述 63
2.9 Cassandra概述 64
2.9.1 Cassandra主要功能 64
2.9.2 Cassandra的體系結(jié)構(gòu) 65
2.9.3 Cassandra存儲機(jī)制 65
2.9.4 Cassandra的寫過程 66
2.9.5 Cassandra的讀過程 67
2.9.6 Cassandra的刪除 68
2.10 Chukwa概述 68
2.10.1 使用Chukwa的原因 68
2.10.2 Chukwa的不是 69
2.10.3 Chukwa的定義 69
2.10.4 Chukwa架構(gòu)與設(shè)計(jì) 70
第3章 Hadoop配置與實(shí)戰(zhàn) 74
3.1 Hadoop的安裝 74
3.1.1 在Linux下安裝Hadoop 74
3.1.2 運(yùn)行模式 75
3.1.3 在Windows下安裝Hadoop 80
3.2 運(yùn)行Hadoop 86
3.3 Hadoop的Avatar機(jī)制 87
3.3.1 系統(tǒng)架構(gòu) 88
3.3.2 元數(shù)據(jù)同步機(jī)制 89
3.3.3 切換故障過程 91
3.3.4 運(yùn)行流程 92
3.3.5 切換故障流程 96
3.4 Hadoop實(shí)戰(zhàn) 99
3.4.1 使用Hadoop運(yùn)行wordcount實(shí)例 99
3.4.2 使用Eclipse編寫Hadoop程序 101
第4章 Hadoop的分布式數(shù)據(jù)HDFS 102
4.1 HDFS的操作 102
4.1.1 文件操作 102
4.1.2 管理與更新 103
4.2 FS Shell使用指南 104
4.3 API使用 111
4.3.1 文件系統(tǒng)的常見操作 111
4.3.2 API的Java操作實(shí)例 113
第5章 Hadoop編程模型MapReduce 118
5.1 MapReduce基礎(chǔ) 118
5.1.1 MapReduce編程模型 118
5.1.2 MapReduce實(shí)現(xiàn)機(jī)制 119
5.1.3 Java MapReduce 121
5.2 MapReduce的容錯(cuò)性 124
5.3 MapReduce實(shí)例分析 125
5.4 不帶map()、reduce()的MapReduce 131
5.5 Shuffle過程 133
5.6 新增Hadoop API 136
5.7 Hadoop的Streaming 138
5.7.1 通過UNIX命令使用Streaming 138
5.7.2 通過Ruby版本使用Streaming 139
5.7.3 通過Python版本使用Streaming 141
5.8 MapReduce實(shí)戰(zhàn) 142
5.8.1 MapReduce排序 142
5.8.2 MapReduce二次排序 145
5.9 MapReduce作業(yè)分析 153
5.10 定制MapReduce數(shù)據(jù)類型 156
5.10.1 內(nèi)置的數(shù)據(jù)輸入格式和RecordReader 156
5.10.2 定制輸入數(shù)據(jù)格式與RecordReader 157
5.10.3 定制數(shù)據(jù)輸出格式實(shí)現(xiàn)多集合文件輸出 160
5.11 鏈接MapReduce作業(yè) 162
5.11.1 順序鏈接MapReduce作業(yè) 162
5.11.2 復(fù)雜的MapReduce鏈接 163
5.11.3 前后處理的鏈接 163
5.11.4 鏈接不同的數(shù)據(jù) 166
5.12 Hadoop的Pipes 172
5.13 創(chuàng)建Bloom filter 174
5.13.1 Bloom filter作用 175
5.13.2 Bloom filter實(shí)現(xiàn) 175
第6章 Hadoop的數(shù)據(jù)庫HBase 182
6.1 HBase數(shù)據(jù)模型 182
6.1.1 數(shù)據(jù)模型 182
6.1.2 概念視圖 183
6.1.3 物理視圖 184
6.2 HBase與RDBMS對比 185
6.3 Bigtable的應(yīng)用實(shí)例 188
6.4 HBase的安裝與配置 189
6.5 Java API 196
6.6 HBase實(shí)例分析 204
6.6.1 RowLock 204
6.6.2 HBase的HFileOutputFormat 207
6.6.3 HBase的TableOutputFormat 210
6.6.4 在HBase中使用MapReduce 213
6.6.5 HBase分布式模式 215
第7章 Hadoop的數(shù)據(jù)倉庫Hive 220
7.1 Hive的安裝 220
7.1.1 準(zhǔn)備的軟件包 220
7.1.2 內(nèi)嵌模式安裝 220
7.1.3 安裝獨(dú)立模式 221
7.1.4 遠(yuǎn)程模式安裝 222
7.1.5 查看數(shù)據(jù)信息 222
7.2 Hive的入口 223
7.2.1 類CliDriver 225
7.2.2 類CliSessionState 229
7.2.3 類CommandProcessor 230
7.3 Hive QL詳解 232
7.3.1 Hive的數(shù)據(jù)類型 232
7.3.2 Hive與數(shù)據(jù)庫比較 233
7.3.3 DDL操作 234
7.3.4 join查詢 241
7.3.5 DML操作 243
7.3.6 SQL操作 245
7.3.7 Hive QL的應(yīng)用實(shí)例 248
7.4 Hive的服務(wù) 250
7.4.1 JDBC/ODBC服務(wù) 250
7.4.2 Thrift服務(wù) 253
7.4.3 Web接口 255
7.5 Hive SQL的優(yōu)化 256
7.5.1 Hive SQL優(yōu)化選項(xiàng) 256
7.5.2 Hive SQL優(yōu)化應(yīng)用實(shí)例 258
7.6 Hive的擴(kuò)展性 261
7.6.1 SerDe 262
7.6.2 Map/Reduce腳本 263
7.6.3 UDF 263
7.6.4 UDAF 264
7.7 Hive實(shí)戰(zhàn) 266
第8章 Hadoop的大規(guī)模數(shù)據(jù)平臺Pig 274
8.1 Pig的安裝與運(yùn)行 274
8.1.1 Pig的安裝 274
8.1.2 Pig的運(yùn)行 274
8.2 Pig實(shí)現(xiàn) 278
8.3 Pig Latin語言 279
8.3.1 Pig Latin語言概述 280
8.3.2 Pig Latin數(shù)據(jù)類型 282
8.3.3 Pig Latin運(yùn)算符 284
8.3.4 Pig Latin關(guān)鍵字 287
8.3.5 Pig內(nèi)置函數(shù) 288
8.4 自定義函數(shù) 291
8.4.1 UDF的編寫 292
8.4.2 UDFS的使用 293
8.5 Jaql和Pig查詢語言的比較 293
8.5.1 Pig和Jaql運(yùn)行環(huán)境和執(zhí)行形式的比較 294
8.5.2 Pig和Jaql支持?jǐn)?shù)據(jù)類型的比較 294
8.5.3 Pig和Jaql操作符和內(nèi)建函數(shù)以及自定義函數(shù)的比較 295
8.5.4 其他 299
8.6 Pig實(shí)戰(zhàn) 300
第9章 Hadoop的非關(guān)系型數(shù)據(jù)Cassandra 308
9.1 Cassandra的安裝 308
9.1.1 在Windows 7中安裝 308
9.1.2 在Linux中安裝 310
9.2 Cassandra的數(shù)據(jù)模型 311
9.2.1 Column 311
9.2.2 SuperColumn 312
9.2.3 ColumnFamily 312
9.2.4 Row 313
9.2.5 排序 313
9.3 Cassandra的實(shí)例分析 315
9.3.1 Cassandra的數(shù)據(jù)存儲結(jié)構(gòu) 315
9.3.2 跟蹤客戶端代碼 319
9.4 Cassandra常用的編程語言 324
9.4.1 Java使用Cassandra 324
9.4.2 PHP使用Cassandra 325
9.4.3 Python使用Cassandra 326
9.4.4 C#使用Cassandra 327
9.4.5 Ruby使用Cassandra 328
9.5 Cassandra與MapReduce結(jié)合 328
9.5.1 需求分析 329
9.5.2 代碼分析 330
9.5.3 MapReduce代碼 330
9.6 Cassandra實(shí)戰(zhàn) 331
9.6.1 BuyerDao功能驗(yàn)證 331
9.6.2 SellerDao功能驗(yàn)證 332
9.6.3 ProductDao功能驗(yàn)證 333
9.6.4 新建Schema在線功能 336
9.6.5 功能驗(yàn)證 337
第10章 Hadoop的收集數(shù)據(jù)Chukwa 339
10.1 Chukwa的安裝與配置 339
10.1.1 配置要求 339
10.1.2 Chukwa的安裝 340
10.1.3 基本命令 341
10.2 Chukwa數(shù)據(jù)流處理 344
10.2.1 支持?jǐn)?shù)據(jù)類型 344
10.2.2 數(shù)據(jù)處理 345
10.2.3 自定義數(shù)據(jù)模塊 351
10.3 Chukwa源代碼分析 352
10.3.1 Chukwa適配器 352
10.3.2 Chukwa連接器 357
10.3.3 Chukwa收集器 362
10.4 Chukwa實(shí)例分析 366
10.4.1 生成數(shù)據(jù) 366
10.4.2 收集數(shù)據(jù) 367
10.4.3 處理數(shù)據(jù) 367
10.4.4 析取數(shù)據(jù) 368
10.4.5 稀釋數(shù)據(jù) 368
第11章 Hadoop的分布式系統(tǒng)ZooKeeper 369
11.1 ZooKeeper的安裝與配置 369
11.1.1 ZooKeeper的安裝 369
11.1.2 ZooKeeper的配置 371
11.1.3 ZooKeeper數(shù)據(jù)模型 373
11.1.4 ZooKeeper的API接口 373
11.1.5 ZooKeeper編程實(shí)現(xiàn) 375
11.2 ZooKeeper的Leader流程 378
11.3 ZooKeeper鎖服務(wù) 379
11.3.1 ZooKeeper中的鎖機(jī)制 379
11.3.2 ZooKeeper的寫鎖實(shí)現(xiàn) 380
11.3.3 ZooKeeper鎖服務(wù)實(shí)現(xiàn)例子 381
11.4 創(chuàng)建ZooKeeper應(yīng)用程序 383
11.5 ZooKeeper的應(yīng)用開發(fā) 387
11.6 ZooKeeper的典型應(yīng)用 395
11.6.1 統(tǒng)一命名服務(wù) 396
11.6.2 配置管理 396
11.6.3 集群管理 397
11.6.4 共享鎖 398
11.6.5 隊(duì)列管理 399
11.7 實(shí)現(xiàn)NameNode自動(dòng)切換 402
網(wǎng)上參考資源 410
參考文獻(xiàn) 412