Spark 运维实战
Introduction
1.
Spark 概述
1.1.
Spark 生态环境
2.
Spark 安装配置
2.1.
Spark 编译
2.2.
Spark 部署模式
2.2.1.
Spark 单机版
2.2.2.
Spark Standalone
2.2.2.1.
无HA
2.2.2.2.
单点恢复
2.2.2.3.
ZooKeeper HA
2.2.2.4.
配置项
2.2.3.
Spark on Yarn
2.3.
Spark Shell
2.4.
Spark Submit
3.
Spark Relate Software
3.1.
ZooKeeper
3.1.1.
ZooKeeper安装配置
3.2.
Hadoop
3.2.1.
Hadoop 1.x 安装配置
3.2.2.
Hadoop 2.x 安装配置
3.3.
kafka
3.3.1.
kafka 安装配置
3.3.2.
kafka 配置项
3.3.3.
kafka 使用
4.
Spark 监控
4.1.
Web Interfaces
4.2.
Spark Metrics
5.
Spark 调优
6.
Spark Core
6.1.
Context
6.2.
RDD
6.2.1.
Key-Value Pairs RDD
6.3.
Transform
6.4.
Action
6.5.
Persist & Cache
7.
Spark Streaming
7.1.
DStream
Powered by
GitBook
Spark 运维实战
Spark Standalone
Spark Standalone采用了Master/Slaves架构的集群模式，因此，存在着Master单点故障。
Spark提供了两种单点故障的解决方案：
基于文件系统的单点恢复
基于ZooKeeper的Standby Masters
基于文件系统的单点恢复
基于ZooKeeper的Standby Masters