【互动问答分享】第7期决胜云计算大数据时代Spark亚太研究院公益大讲堂

【互动问答分享】第7期决胜云计算大数据时代Spark亚太研究院公益大讲堂

                                           “决胜云计算大数据时代”

                                          Spark亚太研究院100期公益大讲堂 【第7期互动问答分享】

Q1:Spark中的RDD到底是什么？

       RDD是Spark的核心抽象，可以把RDD看做“分布式函数编程语言”。

        RDD有以下核心特征：

Alist of partitions

Afunction for computing each split

Alist of dependencies on other RDDs

Optionally,a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)

Optionally,a list of preferred locations to compute each split on (e.g. block locationsfor an HDFS file)

        RDD中有两种核心操作：Transformation和Action，Transformation时只会记录对数据操作的元数据，Action时会对数据进行计算并产出结果。

Q2:Checkpoint和persist是什么类型的RDD呢？

        RDD的Operation分为两类，transformation和action，其中transformation产生新的RDD，action产生新的数据。作为DAG的lineage对transformation进行存储，当action时执行lineage并产生数据。

        checkpoint和persist是RDD比较特殊的两个操作， persist持久化RDD, checkpoint持久化RDD同时切断历史lineage。

        Persist和checkpoint有违immutability的操作，它们实际上修改RDD meta info中的storage level和lineage，并返回修改过的RDD对象自身而非新的RDD对象。

Q3:Spark在运行的时候Driver程序运行在什么地方？

       在Standalone的模式下Driver运行在提交Spark Application的客户端；

       客户端能够提交Spark程序是应为安装了Spark；

       Driver要负责程序的运行；

Q4:理解DAGScheduler对DAG Stage划分的诀窍是什么？

       一般而言出现从外部读取数据、进行Shuffle操作和写数据的时候会成为Stage划分的边界；

       Stage内部的操作是Pipeline的，可以极大的提高程序运行效率；

       Shuffle是两个Stage的划分点；

Q5:如何理解Narrow Dependencies和Wide Dependencies？

       NarrowDependencies和Wide Dependencies构成了Spark Lineage；

       NarrowDependencies：例如map、filter、union、join with inputs co-partitioned;

       WideDependencies:例如groupByKey、join with inputs notco-partitioned；

       判断是Narrow Dependencies的关键就是左侧RDD Partition操作产出的结果是唯一右侧的RDD Partition；

       判断是Wide Dependencies的关键就是左侧RDD Partition操作产出的结果是至少两个右侧的RDD Partitions；