《零基础入门Spark》学习笔记 Day 03

《零基础入门Spark》学习笔记 Day 03

广播变量、累加器

一、广播变量

广播变量是向所有工作节点发送一个较大的只读值

使用代码示例：

val conf = new SparkConf().setAppName("WordCount").setMaster("local")
val sc = new SparkContext(conf)
val list:List[String] = List("Golang","Java")
val bc = sc.broadcast(list)

示例中使用了broadcast函数创建广播变量，然后通过调用它的value函数，就可以访问所封装的数据内容，广播变量节省的网络与内在开销会变得非常可观，省去这些开销，对作业的执行有很大有处。当你遇到需要多个task共享同一个大型变量的时候，比如列表，数组映射等数据结构，可以考虑使用广播变量来优化spark作业

注意：
1、不能将rdd作为广播变量广播出去，rdd是不存储数据的。可以将rdd的结果广播出去。
2、广播变量只能在Driver端定义，不能在Executor端定义。

二、累加器

它主要作用是全局计数，使用场景自然是需要做全局计数的时候

使用代码示例：

val conf = new SparkConf().setAppName("WordCount").setMaster("local")
val sc = new SparkContext(conf)
//定义Long类型的累加器
val ac = sc.longAccumulator("Empty string")ac.add(1)

作业完成后，调用value函数，获取累加器的全局结果

除了以上的longAccumulator，还有doubleAccumulator和collectionAccumulator

注意：
累加器在Driver端定义赋初始值，只能在Driver端读取最后的值，在executor端更新。