本书是Spark实战指南，全书共分8章。前4章介绍Spark的部署、工作机制和核心，后4章分别通过实战项目介绍Spark SQL、Spark Streaming、Spark GraphX和Spark MLib功能模组。此外，本书详细介绍了常见的实战问题，比如大数据环境下的配置设定、程式调优等。本书附带的一键安装脚本，更能为初学者提供很大帮助。

第1 章 Spark 与大数据 1

1.1　大数据的发展及现状　1

1.1.1　大数据时代所面临的问题　1

1.1.2　谷歌的大数据解决方案　2

1.1.3　Hadoop 生态系统　3

1.2　Spark 应时而生　4

1.2.1　Spark 的起源　4

1.2.2　Spark 的特点　5

1.2.3　Spark 的未来发展　6

第2　章 Spark 基础　8

2.1　Spark 本地单机模式体验　8

2.1.1　安装虚拟机　8

2.1.2　安装JDK　19

2.1.3　下载Spark 预编译包　21

2.1.4　本地体验Spark　22

2.2　高可用Spark 分散式集群部署　25

2.2.1　集群总览　26

2.2.2　集群机器的型号选择　28

2.2.3　初始化集群机器环境　29

2.2.4　部署ZooKeeper 集群　33

2.2.5　编译Spark　35

2.2.6　部署Spark Standalone 集群　37

2.2.7　高可用Hadoop 集群　40

2.2.8　让Spark 运行在YARN 上　40

2.2.9　一键部署高可用Hadoop +

Spark　集群　42

2.3　Spark 编程指南　43

2.3.1　互动式编程　43

2.3.2　RDD 创建　44

2.3.3　RDD 操作　47

2.3.4　使用其他语言开发Spark 程式　54

2.4　打包和提交　54

2.4.1　编译、连结、打包　54

2.4.2　提交　56

第3　章 Spark 工作机制　58

3.1　调度管理　58

3.1.1　集群概述及名词解释　58

3.1.2　Spark 程式之间的调度　60

3.1.3　Spark 程式内部的调度　63

3.2　记忆体管理　65

3.2.1　RDD 持久化　65

3.2.2　共享变数　66

3.3　容错机制　67

3.3.1　容错体系概述　67

3.3.2　Master 节点失效　68

3.3.3　Slave 节点失效　69

3.4　监控管理　69

3.4.1　Web 界面　69

3.4.2　REST API　72

3.4.3　Metrics 指标体系　73

3.4.4　其他监控工具　73

3.5　Spark 程式配置管理　73

3.5.1　Spark 程式配置载入过程　74

3.5.2　环境变数配置　74

3.5.3　Spark 属性项配置　74

3.5.4　查看当前的配置　76

3.5.5　配置Spark 日誌　76

第4　章 Spark 核心讲解　77

4.1　Spark 核心数据结构RDD　77

4.1.1　RDD 的定义　78

4.1.2　RDD 的Transformation　80

4.1.3　RDD 的Action　82

4.1.4　Shuffle　83

4.2　SparkContext　84

4.2.1　SparkConf 配置　84

4.2.2　初始化过程　85

4.2.3　其他功能接口　87

4.3　DAG 调度　87

4.3.1　DAGScheduler　87

4.3.2　TaskScheduler　90

第5　章 Spark SQL 与数据仓库　92

5.1　Spark SQL 基础　93

5.1.1　分散式SQL 引擎　93

5.1.2　支持的SQL 语法　97

5.1.3　支持的数据类型　98

5.1.4　DataFrame　99

5.1.5　DataFrame 数据源　103

5.1.6　性能调优　104

5.2　Spark SQL 原理和运行机制　104

5.2.1　Spark SQL 整体架构　105

5.2.2　Catalyst 执行最佳化器　105

5.3　套用场景：基于淘宝数据建立电商

数据仓库　110

5.3.1　电商数据仓库场景　111

5.3.2　数据準备和表设计　111

5.3.3　用Spark SQL 来完成日常运营

数据分析　115

5.3.4　Spark SQL 在大规模数据下的

性能表现　120

第6　章 Spark 流式计算　122

6.1　Spark Streaming 基础知识　123

6.1.1　入门简单示例　123

6.1.2　基本概念　124

6.1.3　高级操作　129

6.2　深入理解Spark Streaming　132

6.2.1　DStream 的两类操作　132

6.2.2　容错处理　134

6.2.3　性能调优　136

6.2.4　与Storm 的对比　137

6.3　套用场景：一个类似百度统计的流式

实时系统　139

6.3.1　Web log 实时统计场景　139

6.3.2　日誌实时採集　140

6.3.3　流式分析系统实现　140

第7　章 Spark 图计算　149

7.1　什幺是图计算　149

7.1.1　图的基本概念　149

7.1.2　图计算的套用　150

7.2　Spark GraphX 简介　151

7.2.1　GraphX 实现　151

7.2.2　GraphX 常用API 介绍　152

7.3　套用场景：基于新浪微博数据的社交

网路分析　153

7.3.1　社交网路分析的主要套用　153

7.3.2　社区发现算法简介　154

7.3.3　用GraphX 实现Louvain

算法　156

7.3.4　小试牛刀：谁是你的闺蜜　162

7.3.5　真实的场景：新浪微博关係

分析　164

第8　章 Spark MLlib　169

8.1　机器学习简介　169

8.1.1　什幺是机器学习　169

8.1.2　机器学习示例　171

8.1.3　机器学习的基本方法　172

8.1.4　机器学习的常见技巧　173

8.1.5　机器学习参考资料　174

8.2　MLlib 库简介　174

8.2.1　基础数据类型　174

8.2.2　主要的库　175

8.2.3　附带的示例程式　176

8.3　套用场景：搜寻广告点击率

预估系统　178

8.3.1　套用场景　178

8.3.2　逻辑回归　179

8.3.3　学习算法　181

8.3.4　模型评估　184

8.3.5　数据準备　186

8.3.6　模型训练　187

8.3.7　模型调优　195

附录　Scala 语言参考　197