理解Spark的运行机制
Spark生态系统目前已经非常成熟了，有很多类型的任务都可以使用spark完成，我们先看下spark生态系统的组成：
spark的核心主要由3个模块组成：
（1）spark core 是spark的最底层的编程实现，定义了许多的函数及方法，是所有spark组件的基础依赖
（2）spark ecosystems 是spark里面的一些高级组件，基本就是我们最常用的框架
（3）resource management 负责spark任务的调度
平时我们开发过程中，基本上使用的都是第二层里面的一些框架，这里面使用最多的莫过于spark sql和spark streaming了。在对spark整个生态系统有一个基本了解后，下面我们就关注的是其运行机制了，只有解了运行机制，才会对我们使用程序，或者排查问题以及性能调优起到很大的帮助。
下面我们看下spark任务的运行机制如下图：
Spark相关一些术语解释：
（一）Driver program
driver就是我们编写的spark应用程序，用来创建sparkcontext或者sparksession，driver会和cluster mananer通信，并分配task到executor上执行
（二）Cluster Manager
负责整个程序的资源调度，目前的主要调度器有：
YARN
Spark Standalone
Mesos
（三）Executors
Executors其实是一个独立的JVM进程，在每个工作节点上会起一个，主要用来执行task，一个executor内，可以同时并行的执行多个task。
（四）Job
Job是用户程序一个完整的处理流程，是逻辑的叫法。
（五）Stage
一个Job可以包含多个Stage，Stage之间是串行的，State的触发是由一些shuffle，reduceBy，save动作产生的
（六）Task
一个Stage可以包含多个task，比如sc.textFile("/xxxx").map().filter()，其中map和filter就分别是一个task。每个task的输出就是下一个task的输出。
（七）Partition
partition是spark里面数据源的一部分，一个完整的数据源会被spark切分成多个partition以方便spark可以发送到多个executor上去并行执行任务。
（八）RDD
RDD是分布式弹性数据集，在spark里面一个数据源就可以看成是一个大的RDD，RDD由多个partition组成，spark加载的数据就会被存在RDD里面，当然在RDD内部其实是切成多个partition了。
那么问题来了一个spark job是如何执行的？
（1）我们写好的spark程序，也称驱动程序，会向Cluster Manager提交一个job
（2）Cluster Manager会检查数据本地行并寻找一个最合适的节点来调度任务
（3）job会被拆分成不同stage，每个stage又会被拆分成多个task
（4）驱动程序发送task到executor上执行任务
（5）驱动程序会跟踪每个task的执行情况，并更新到master node节点上，这一点我们可以在spark master UI上进行查看
（6）job完成，所有节点的数据会被最终再次聚合到master节点上，包含了平均耗时，最大耗时，中位数等等指标。
最后关于spark的并行执行策略在总结下：
首先我们的数据源会被加载到RDD里面，在RDD里面整个数据源会被切分成多个partition，partition的个数实际就是我们执行任务的最大并行度，每个task会负责一个partition的数据，而每个spark任务最大可以执行task的个数=executor的个数 * 每个executor的cores的个数。对应到submit脚本中参数就是：
--num-executors
--executor-cores根据spark官网的建议每个executor上建议分配置的core的个数应该在3到5之间，如果分配的太多会生成大量的小task执行，task的序列化和传输都会比较耗性能，如果分配的task数量太少，那么我们的executor大部分时候机器资源就会浪费，所以分配的个数一般在3到5个就行，这一点需要注意。
附录：
Spark中RDD，DataFrame，DataSet的区别：
1、RDD支持面向java、scala对象，编译时强类型检查。缺点，序列化非常消耗时间(集群分发和磁盘存储)，不能充分利用系统的高级优化能力(如off-heap)，垃圾回收对象开销大。
2、DataFrame支持数据集的模式表示(即数据列的概念)，所以集群分发数据时并不需要序列化，能充分利用系统高级优化能力(off-heap)，引入查询计划提高性能。缺点，DataFrame的列类型，在编译时无法判断类型，会产生运行时错误。
3、Dataset即支持数据集的模式表示，又支持java、scala对象的类型检查能力。两者通过引入一种编码、解码机制来实现。
参考链接：
http://datastrophic.io/core-concepts-architecture-and-internals-of-apache-spark/
http://backtobazics.com/big-data/spark/understanding-apache-spark-architecture/
https://www.dezyre.com/article/how-data-partitioning-in-spark-helps-achieve-more-parallelism/297
http://www.agildata.com/apache-spark-rdd-vs-dataframe-vs-dataset/