《Hadoop大數(shù)據(jù)處理》以大數(shù)據(jù)處理系統(tǒng)的三大關(guān)鍵要素——“存儲”、“計(jì)算”與“容錯(cuò)”為起點(diǎn)，深入淺出地介紹了如何使用Hadoop這一高性能分布式技術(shù)完成大數(shù)據(jù)處理任務(wù)。本書不僅包含了使用Hadoop進(jìn)行大數(shù)據(jù)處理的實(shí)踐性知識和示例，還以圖文并茂的形式系統(tǒng)性地揭示了Hadoop技術(shù)族中關(guān)鍵組件的運(yùn)行原理和優(yōu)化手段，為讀者進(jìn)一步提升Hadoop使用技巧和運(yùn)行效率提供了頗具價(jià)值的參考。

《Hadoop大數(shù)據(jù)處理》共10章，涉及的主題包括大數(shù)據(jù)處理概論、基于Hadoop的大數(shù)據(jù)處理框架、MapReduce計(jì)算模式、使用HDFS存儲大數(shù)據(jù)、HBase大數(shù)據(jù)庫、大數(shù)據(jù)的分析處理、Hadoop環(huán)境下的數(shù)據(jù)整合、Hadoop集群的管理與維護(hù)、基于MapReduce的數(shù)據(jù)挖掘?qū)嵺`及面向未來的大數(shù)據(jù)處理技術(shù)。后附有一個(gè)在Windows環(huán)境下搭建Hadoop開發(fā)及調(diào)試環(huán)境的參考手冊。

《Hadoop大數(shù)據(jù)處理》適合需要使用Hadoop處理大數(shù)據(jù)的程序員、架構(gòu)師和產(chǎn)品經(jīng)理作為技術(shù)參考和培訓(xùn)資料，也可作為高校研究生和本科生教材。

目錄

D11章大數(shù)據(jù)處理概論1
1.1什么是大數(shù)據(jù)2
1.2數(shù)據(jù)處理平臺的基礎(chǔ)架構(gòu)5
1.3大數(shù)據(jù)處理的存儲7
1.3.1提升容量7
1.3.2提升吞吐量11
1.4大數(shù)據(jù)處理的計(jì)算模式17
1.4.1多處理技術(shù)17
1.4.2并行計(jì)算20
1.5大數(shù)據(jù)處理系統(tǒng)的容錯(cuò)性26
1.5.1數(shù)據(jù)存儲容錯(cuò)27
1.5.2計(jì)算任務(wù)容錯(cuò)28
1.6大數(shù)據(jù)處理的云計(jì)算變革30
本章參考文獻(xiàn)32
D12章基于Hadoop的大數(shù)據(jù)處理架構(gòu)35
2.1Google核心云計(jì)算技術(shù)35
2.1.1并行計(jì)算編程模型MapReduce36
2.1.2分布式文件系統(tǒng)GFS38
2.1.3分布式結(jié)構(gòu)化數(shù)據(jù)存儲BigTable39
2.2Hadoop云計(jì)算技術(shù)及發(fā)展41
2.2.1Hadoop的由來41
2.2.2Hadoop原理與運(yùn)行機(jī)制42
2.2.3Hadoop相關(guān)技術(shù)及簡介45
2.2.4Hadoop技術(shù)的發(fā)展與演進(jìn)47
2.3基于云計(jì)算的大數(shù)據(jù)處理架構(gòu)48
2.4基于云計(jì)算的大數(shù)據(jù)處理技術(shù)的應(yīng)用51
2.4.1百度51
2.4.2阿里巴巴56
2.4.3騰訊58
2.4.4華為60
2.4.5中國移動(dòng)62
2.5Hadoop運(yùn)行實(shí)踐63
本章參考文獻(xiàn)64
D13章MapReduce計(jì)算模式66
3.1MapReduce原理66
3.2MapReduce工作機(jī)制69
3.2.1MapReduce運(yùn)行框架的組件70
3.2.2MapReduce作業(yè)的運(yùn)行流程70
3.2.3作業(yè)調(diào)度72
3.2.4異常處理73
3.3MapReduce應(yīng)用開發(fā)74
3.3.1MapReduce應(yīng)用開發(fā)流程74
3.3.2通過Web界面分析MapReduce應(yīng)用76
3.3.3MapReduce任務(wù)執(zhí)行的單步跟蹤78
3.3.4多個(gè)MapReduce過程的組合模式79
3.3.5使用其他語言編寫MapReduce程序81
3.3.6不同數(shù)據(jù)源的數(shù)據(jù)聯(lián)結(jié)(Join)82
3.4MapReduce設(shè)計(jì)模式87
3.4.1計(jì)數(shù)(Counting)88
3.4.2分類(Classfication)88
3.4.3過濾處理(Filtering)89
3.4.4排序(Sorting)89
3.4.5去重計(jì)數(shù)(DistinctCounting)90
3.4.6相關(guān)計(jì)數(shù)(Cross-Correlation)91
3.5MapReduce算法實(shí)踐92
3.5.1*短路徑算法92
3.5.2反向索引算法94
3.5.3PageRank算法95
3.6MapReduce性能調(diào)優(yōu)97
3.6.1MapReduce參數(shù)配置優(yōu)化97
3.6.2使用Cominber減少數(shù)據(jù)傳輸99
3.6.3啟用數(shù)據(jù)壓縮100
3.6.4使用預(yù)測執(zhí)行功能101
3.6.5重用JVM101
本章參考文獻(xiàn)102
D14章使用HDFS存儲大數(shù)據(jù)103
4.1大數(shù)據(jù)的云存儲需求103
4.2HDFS架構(gòu)與流程104
4.2.1系統(tǒng)框架104
4.2.2數(shù)據(jù)讀取過程105
4.2.3數(shù)據(jù)寫入過程106
4.3文件訪問與控制108
4.3.1基于命令行的文件管理108
4.3.2通過API操作文件110
4.4HDFS性能優(yōu)化114
4.4.1調(diào)整數(shù)據(jù)塊尺寸114
4.4.2規(guī)劃網(wǎng)絡(luò)與節(jié)點(diǎn)114
4.4.3調(diào)整服務(wù)隊(duì)列數(shù)量116
4.4.4預(yù)留磁盤空間116
4.4.5存儲平衡117
4.4.6根據(jù)節(jié)點(diǎn)功能優(yōu)化磁盤配置117
4.4.7其他參數(shù)119
4.5HDFS的小文件存儲問題119
4.5.1HadoopArchive工具120
4.5.2CombineFileInputFormat121
4.5.3SequenceFile格式121
4.5.4相關(guān)研究122
4.6HDFS的高可用性問題123
4.6.1基于配置的元數(shù)據(jù)備份123
4.6.2基于DRBD的元數(shù)據(jù)備份124
4.6.3SecondaryNameNode/CheckpointNode125
4.6.4BackupNode125
4.6.5NameNode熱備份126
4.6.6HDFS的HA方案總結(jié)126
本章參考文獻(xiàn)127
D15章HBase大數(shù)據(jù)庫128
5.1大數(shù)據(jù)環(huán)境下的數(shù)據(jù)庫128
5.2HBase架構(gòu)與原理129
5.2.1系統(tǒng)架構(gòu)及組件129
5.2.2數(shù)據(jù)模型與物理存儲131
5.2.3RegionServer的查找135
5.2.4物理部署與讀寫流程136
5.3管理HBase中的數(shù)據(jù)138
5.3.1Shell138
5.3.2JavaAPI141
5.3.3非Java語言訪問146
5.4從RDBMS到HBase147
5.4.1行到列與主鍵到行關(guān)鍵字149
5.4.2聯(lián)合查詢(Join)與去范例化(Denormalization)151
5.5在HBase上運(yùn)行MapReduce152
5.6HBase性能優(yōu)化155
5.6.1參數(shù)配置優(yōu)化155
5.6.2表設(shè)計(jì)優(yōu)化156
5.6.3更新數(shù)據(jù)操作優(yōu)化157
5.6.4讀數(shù)據(jù)操作優(yōu)化158
5.6.5數(shù)據(jù)壓縮159
5.6.6JVMGC優(yōu)化159
5.6.7負(fù)載均衡160
5.6.8性能測試工具160
本章參考文獻(xiàn)161
D16章大數(shù)據(jù)的分析處理162
6.1大數(shù)據(jù)的分析處理概述162
6.2Hive163
6.2.1系統(tǒng)架構(gòu)及組件163
6.2.2Hive數(shù)據(jù)結(jié)構(gòu)164
6.2.3數(shù)據(jù)存儲格式166
6.2.4Hive支持的數(shù)據(jù)類型168
6.2.5使用HiveQL訪問數(shù)據(jù)170
6.2.6自定義函數(shù)擴(kuò)展功能175
6.3Pig177
6.3.1Pig架構(gòu)178
6.3.2PigLatin語言179
6.3.3使用Pig處理數(shù)據(jù)184
6.4Hive與Pig的對比187
本章參考文獻(xiàn)188
D17章Hadoop環(huán)境下的數(shù)據(jù)整合189
7.1Hadoop計(jì)算環(huán)境下的數(shù)據(jù)整合問題189
7.2數(shù)據(jù)庫整合工具Sqoop191
7.2.1使用Sqoop導(dǎo)入數(shù)據(jù)192
7.2.2使用Sqoop導(dǎo)出數(shù)據(jù)195
7.2.3Sqoop與Hive結(jié)合196
7.2.4Sqoop對大對象數(shù)據(jù)的處理197
7.3Hadoop平臺內(nèi)部數(shù)據(jù)整合工具HCatalog197
7.3.1HCatalog的需求與實(shí)現(xiàn)198
7.3.2MapReduce使用HCatalog管理數(shù)據(jù)202
7.3.3Pig使用HCatalog管理數(shù)據(jù)204
7.3.4HCatalog的命令行與通知功能205
本章參考文獻(xiàn)207
D18章Hadoop集群的管理與維護(hù)208
8.1云計(jì)算平臺的管理體系208
8.2ZooKeeper——集群中的配置管理與協(xié)調(diào)者211
8.2.1集群環(huán)境下的配置管理211
8.2.2ZooKeeper架構(gòu)212
8.2.3ZooKeeper的數(shù)據(jù)模型213
8.3Hadoop集群監(jiān)控的基礎(chǔ)組件214
8.3.1Nagios214
8.3.2Ganglia217
8.3.3JMX219
8.4Ambari——Hadoop集群部署與監(jiān)控集成工具220
8.5基于Cacti的Hadoop集群服務(wù)器監(jiān)控223
8.6Chukwa——集群日志收集及分析225
8.7基于Kerberos的Hadoop安全管理227
8.8Hadoop集群管理工具分析230
本章參考文獻(xiàn)231
D19章基于MapReduce的數(shù)據(jù)挖掘232
9.1數(shù)據(jù)挖掘及其分布式并行化232
9.2基于MapReduce的數(shù)據(jù)挖掘與Mahout237
9.3經(jīng)典數(shù)據(jù)挖掘算法的MapReduce實(shí)例242
9.3.1矩陣乘法243
9.3.2相似度計(jì)算246
9.4基于云計(jì)算的數(shù)據(jù)挖掘?qū)嵺`及面臨的挑戰(zhàn)252
本章參考文獻(xiàn)256
D110章面向未來的大數(shù)據(jù)處理257
10.1下一代計(jì)算框架YARN257
10.2大數(shù)據(jù)的實(shí)時(shí)交互式分析260
10.2.1GoogleDremel261
10.2.2ClouderaImpala265
10.3大數(shù)據(jù)的圖計(jì)算266
10.3.1BSP模型267
10.3.2GooglePregel計(jì)算框架268
10.3.3ApacheHama開源項(xiàng)目271
本章參考文獻(xiàn)275
附錄基于Cygwin的Hadoop環(huán)境搭建276
附錄A安裝和配置Cygwin276
附錄B安裝和配置Hadoop281
附錄C運(yùn)行示例程序驗(yàn)證Hadoop安裝285
附錄D安裝和配置Eclipse下的Hadoop開發(fā)環(huán)境286