《大數(shù)據(jù)開發(fā)工程師系列：Hadoop & Spark大數(shù)據(jù)開發(fā)實戰(zhàn)》圍繞Hadoop和Spark這兩個主流技術(shù)進行講解，主要內(nèi)容包括Hadoop環(huán)境配置、分布式文件系統(tǒng)HDFS、分布式計算框架MapReduce、資源調(diào)度框架YARN與Hadoop新特性、大數(shù)據(jù)數(shù)據(jù)倉庫Hive、離線處理輔助系統(tǒng)、SparkCore、Spark SQL、Spark Streaming等知識。

為保證學(xué)習(xí)效果，《大數(shù)據(jù)開發(fā)工程師系列：Hadoop & Spark大數(shù)據(jù)開發(fā)實戰(zhàn)》緊密結(jié)合實際應(yīng)用，利用大量案例說明和實踐，提煉含金量十足的開發(fā)經(jīng)驗。

《大數(shù)據(jù)開發(fā)工程師系列：Hadoop & Spark大數(shù)據(jù)開發(fā)實戰(zhàn)》使用Hadoop和Spark進行大數(shù)據(jù)開發(fā)，并配以完善的學(xué)習(xí)資源和支持服務(wù)，包括視頻教程、案例素材下載、學(xué)習(xí)交流社區(qū)、討論組等終身學(xué)習(xí)內(nèi)容，為開發(fā)者帶來全方位的學(xué)習(xí)體。

目錄

前言
關(guān)于引用作品版權(quán)說明
第1章 初識Hadoop
本章任務(wù)
任務(wù)1 大數(shù)據(jù)概述
1．1．1 大數(shù)據(jù)基本概念
1．1．2 大數(shù)據(jù)對于企業(yè)帶來的挑戰(zhàn)
任務(wù)2 Hadoop概述
1．2．1 Hadoop簡介
1．2．2 HadooD生態(tài)系統(tǒng)
1．2．3 大數(shù)據(jù)應(yīng)用案例
任務(wù)3 Hadoop環(huán)境措建
1．3．1 虛擬機安裝
1．3．2 Linux系統(tǒng)安裝
1．3．3 Hadoop偽分布式環(huán)境搭建
本章總結(jié)
本章作業(yè)
第2章 分布式文件系統(tǒng)HDFS
本章任務(wù)
任務(wù)1 初識HDFS
2．1．1 HDFS概述
2．1．2 HDFS基本概念
2．1．3 HDFS體系結(jié)構(gòu)
任務(wù)2 HDFS操作
2．2．1 HDFS shell訪問
2．2．2 Java API訪問
任務(wù)3 HDFS運行機制
2．3．1 HDFS文件讀寫流程
2．3．2 HDFS副本機制
2．3．3 數(shù)據(jù)負(fù)載均衡
2．3．4 機架感知
任務(wù)4 HDFS進階
2．4．1 Hadoop序列化
2．4．2 基于文件的數(shù)據(jù)結(jié)構(gòu)SequenceFile
2．4．3 基于文件的數(shù)據(jù)結(jié)構(gòu)MapFile
本章總結(jié)
本章作業(yè)
第3章 分布式計算框架MapReduce
本章任務(wù)
任務(wù)1 MapReduce編程模型
3．1．1 MapReduce概述
3．1．2 MapReduce編程模型
3．1．3 MapReduce Woracount編程實例
任務(wù)2 MapReduce進階
3．2．1 MapReduce類型
3．2．2 MapReduce輸入格式
3．2．3 MapReduce輸出格式
3．2．4 Combiner
3．2．5 Partitioner
3．2．6 RecordReader
任務(wù)3 MapReduce高級編程
3．3．1 Join的MapReduce實現(xiàn)
3．3．2 排序的MapReduce實現(xiàn)
3．3．3 二次排序的MapReduce實現(xiàn)
3．3．4 合并小文件的MapReduce實現(xiàn)
本章總結(jié)
本章作業(yè)
第4章 YARN與Hadoop新特性
本章任務(wù)
任務(wù)1 初識資源調(diào)度框架YARN
4．1．1 YARN產(chǎn)生背景
4．1．2 初識YARN
4．1．3 YARN運行機制
任務(wù)2 HDFS新特性
4．2．1 HDFS NameNOde HA
4．2．2 HDFS NameN0de Federation
4．2．3 HDFSSnaoshots
4．2．4 WebHOFS RESTAPI
4．2．5 DistCp
任務(wù)3 YARN新特性
4．3．1 ResourceManager Restart
4．3．2 ResourceManager HA
本章總結(jié)
本章作業(yè)
第5章 大數(shù)據(jù)數(shù)據(jù)倉庫Hive
本章任務(wù)
任務(wù)1 初識Hive
5．1．1 Hiye簡介
5．1．2 Hiye架構(gòu)
5．1．3 Hiye與Hadoop的關(guān)系
5．1．4 Hive與傳統(tǒng)關(guān)系型數(shù)據(jù)庫對比
5．1．5 Hive數(shù)據(jù)存儲
5．1．6 Hive環(huán)境部署
任務(wù)2 Hive基本操作
5．2．1 DDL操作
5．2．2 DML操作
5．2．3 Hive shell操作
任務(wù)3 Hive進階
5．3．1 Hive函數(shù)
5．3．2 Hive常用調(diào)優(yōu)策略
本章總結(jié)
本章作業(yè)
第6章 離線處理輔助系統(tǒng)
本章任務(wù)
任務(wù)1 使用Sqoop完成數(shù)據(jù)遷移
6．1．1 Sqoop簡介
6．1．2 導(dǎo)入MysQL數(shù)據(jù)到HDFS
6．1．3 導(dǎo)出HOFS數(shù)據(jù)到MySQL
6．1．4 導(dǎo)入MySQL數(shù)據(jù)到Hive
6．1．5 Sqoop中Job的使用
任務(wù)2 工作流調(diào)度框架Azkaban
6．2．1 Azkaban簡介
6．2．2 Azkaban部署
6．2．3 Azkaban實戰(zhàn)
本章總結(jié)
本章作業(yè)
第7章 Spark入門
本章任務(wù)
任務(wù)1 初識Spark
7．1．1 Spark概述
7．1．2 Spark優(yōu)點
7．1．3 Spark生態(tài)系統(tǒng)BDAs
任務(wù)2 Scala入門
7．2．1 Scala介紹
7．2．2 Scala函數(shù)
7．2．3 Scala面向?qū)ο?br /> 7．2．4 Scala集合
7．2．5 Scala進階
任務(wù)3 獲取Spark源碼并進行編譯
7．3．1 獲取Spark源碼
7．3．2 Spark源碼編譯
任務(wù)4 第次與Spark親密接觸
7．4．1 Spark環(huán)境部署
7．4．2 Spark完成詞頻統(tǒng)計分析
本章總結(jié)
本章作業(yè)
第8章 SparkCore
本章任務(wù)
任務(wù)1 SparK的基石RDD
8．1．1 RDD概述
8．1．2 RDD常用創(chuàng)建方式
8．1．3 RDD的轉(zhuǎn)換
8．1．4 ROD的動作
8．1．5 RDD的依賴
任務(wù)2 RDD進階
8．2．1 RDD緩存
8．2．2 共享變量(Shared Variables)
8．2．3 Spark核心概念
8．2．4 Spark運行架構(gòu)
任務(wù)3 基于RDD的Spark編程
8．3．1 開發(fā)前置準(zhǔn)備
8．3．2 使用SparkCore開發(fā)詞頻計數(shù)WordCount
8．3．3 使用SparkCore進行年齡統(tǒng)計
本章總結(jié)
本章作業(yè)
第9章 Spark SQL
本章任務(wù)
任務(wù)1 SparkSQL前世今生
9．1．1 為什么需要SQL
9．1．2 常用的SQL on Hadoop框架
9．1．3 Spark SQL概述
任務(wù)2 Spark SQL編程
9．2．1 SparkSQL編程入口
9．2．2 DataFrame是什么
9．2．3 DataFrame編程
任務(wù)3 SparkSQL進階
9．3．1 Spark SQL外部數(shù)據(jù)源操作
9．3．2 SparkSQL函數(shù)的使用
9．3．3 Spark SQL常用調(diào)優(yōu)
本章總結(jié)
本章作業(yè)
第10章 Spark Streaming
本章任務(wù)
任務(wù)1 初始流處理框架及Spark Streaming
10．1．1 流處理框架概述
10．1．2 Spark Streaming概述
任務(wù)2 Spark Streaming編程
10．2．1 Spark Streaming核心概念
10．2．2 使用Spark Streaming編程
任務(wù)3 Spark Streaming進階
10．3．1 Spark Streaming整合Flume
10．3．2 Spark Streaming整合Kafka
10．3．3 Spark Streaming常用優(yōu)化策略
本章總結(jié)
本章作業(yè)