Spark核心技术原理透视一（Spark运行原理）-加米谷大数据在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。Spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。Spark提供的基于RDD的一体化解决方案，将MapReduce、Streaming、SQL、MachineLearning、GraphProcessing等模型统一到一个平台下，并以一致的API公开，并提供相同的部署方案，使得Spark的工程应用领域变得更加广泛。本文主要分以下章节：一、Spark专业术语定义二、Spark运行基本流程三、Spark运行架构特点四、Spark核心原理透视一、Spark专业术语定义1、Application：Spark应用程序指的是用户编写的Spark应用程序，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。Spark应用程序，由一个或多个作业JOB组成，如下图所示:---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---2、Driver：驱动程序Spark中的Driver即运行上述Application的Main()函数并且创建SparkContext，其中创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等；当Executor部分运行完毕后，Driver负责将SparkContext关闭。通常SparkContext代表Driver，如下图所示:3、ClusterManager：资源管理器指的是在集群上获取资源的外部服务，常用的有：Standalone，Spark原生的资源管理器，由Master负责资源的分配；HaddopYarn，由Yarn中的ResearchManager负责资源的分配；Messos，由Messos中的MessosMaster负责资源管理，如下图所示:---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---4、Executor：执行器Application运行在Worker节点上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上，每个Application都有各自独立的一批Executor，如下图所示:5、Worker：计算节点集群中任何可以运行Application代码的节点，类似于Yarn中的NodeManager节点。在Standalone模式中指的就是通过Slave文件配置的Worker节点，在SparkonYarn模式中指的就是NodeManager节点，在SparkonMessos模式中指的就是MessosSlave节点，如下图所示:---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---6、RDD：弹性分布式数据集ResillientDistributedDataset，Spark的基本计算单元，可以通过一系列算子进行操作（主要有Transformation和Action操作），如下图所示:7、窄依赖父RDD每一个分区最多被一个子RDD的分区所用；表现为一个父RDD的分区对应于一个子RDD的分区，或两个父RDD的分区对应于一个子RDD的分区。如图所示:---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---8、宽依赖父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区。如图所示:常见的窄依赖有：map、filter、union、mapPartitions、mapValues、join（父RDD是hash-partitioned：如果JoinAPI之前被调用的RDDAPI是宽依赖(存在shuffle),而且两个join的RDD的分区数量一致，join结果的rdd分区数量也一样，这个时候joinapi是窄依赖）。---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---常见的宽依赖有groupByKey、partitionBy、reduceByKey、join（父RDD不是hash-partitioned：除此之外的，rdd的joinapi是宽依赖）。9、DAG：有向无环图DirectedAcyclegraph，反应RDD之间的依赖关系，如图所示:10、DAGScheduler：有向无环图调度器基于DAG划分Stage并以TaskSet的形势提交Stage给TaskScheduler；负责将作业拆分成不同阶段的具有依赖关系的多批任务；最重要的任务之一就是：计算作业和任务的依赖关系，制定调度逻辑。在SparkContext初始化的过程中被实例化，一个SparkContext对应创建一个DAGScheduler。---本文来源于网络，仅供参考，勿照抄，如有侵权请联系删除---11、TaskScheduler：任务调...