Spark系列008——Spark广播变量
Spark的广播变量,用于向所有节点广播不可变数据集。
广播变量允许Spark程序在每台计算机上保留只读变量缓存,而不是将其副本与任务一起传送。例如,它们可以用于以有效的方式为每个节点提供大型输入数据集的副本。Spark还尝试使用高效的广播算法分发广播变量,以降低通信成本。
Broadcast 运行原理
Broadcast 就是将数据从一个节点发送到其他的节点上; 例如 Driver 上有一张表,而 Executor 中的每个并行执行的Task (100万个Task) 都要查询这张表的话,那我们通过 Broadcast 的方式就只需要往每个Executor 把这张表发送一次就行了,Executor 中的每个运行的 Task 查询这张唯一的表,而不是每次执行的时候都从 Driver 中获得这张表!
Broadcast 是分布式的共享数据,默认情况下只要程序在运行 Broadcast 变量就会存在,因为 Broadcast 在底层是通过 BlockManager 管理的,Broadcast 是在创建 SparkContext 时被创建的!你也可以手动指定或者配置具体周期来销毁 Broadcast 变量!Broadcast 一般用于处理共享配置文件,通用的数据子,常用的数据结构等等;但是不适合存放太大的数据在Broadcast。Broadcast 不会内存溢出,因为其数据的保存的 Storage Level 是 MEMORY_AND_DISK 的方式(首先优先放在内存中,如果内存不够才放在磁盘上)虽然如此,我们也不可以放入太大的数据在 Broadcast 中,因为网络 I/O 和可能的单点压力会非常大!
为啥 Broadcast 是只读的变量?
这就涉及一致性的问题,如果变量可以被更新,那么一旦变量被某个节点更新,其他节点要不要一块更新?如果多个节点同时在更新,更新顺序是什么?怎么做同步?还会涉及 fault-tolerance 的问题。为了避免维护数据一致性问题,Spark 目前只支持 broadcast 只读变量。
Broadcast 实现原理
Spark 2.0及以后,Broadcast 的实现只保留了TorrentBroadcast一种。
TorrentBroadcast,类似于大家常用的 BitTorrent 技术。基本思想是驱动程序将序列化对象分成小块,并将这些块存储在驱动程序的BlockManager中。
在每个执行器上,执行器首先尝试从其BlockManager中获取对象。如果它不存在,则它将使用远程获取从驱动程序和/或其他执行器(如果可用)获取小块。一旦它获得了块,它就会将块放入自己的BlockManager中,准备好让其他执行器从中获取。
这可以防止驱动程序成为发送广播数据的多个副本(每个执行器一个)的瓶颈。
Broadcast 示例
广播变量是通过调用SparkContext.broadcast(T, scala.reflect.ClassTag<T>) 创建的。广播变量的值可以通过调用value方法访问。下面的例子显示了这一点:
/*
* Copyright (c) waylau.com, 2021. All rights reserved.
*/
package com.waylau.spark.java.samples.broadcast;
import java.util.Arrays;
import java.util.List;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.broadcast.Broadcast;
/**
* Broadcast Sample
*
* @author <a href="https://waylau.com">Way Lau</a>
* @since 2021-07-22
*/
public class BroadcastSample {
public static void main(String[] args) {
// 要构建一个包含有Spark关应用程序信息的SparkConf对象
SparkConf conf = new SparkConf()
.setAppName("CollectionAccumulator")// 设置应用名称
.setMaster("local[4]"); // 本地4核运行
// 创建一个JavaSparkContext对象,它告诉Spark如何访问集群
JavaSparkContext sparkContext = new JavaSparkContext(conf);
// 创建RDD
List<Double> data = Arrays.asList(1.1D, 2.2D, 3.3D, 4.4D, 5.5D, 6.5D);
JavaRDD<Double> rdd = sparkContext.parallelize(data, 5);
// 创建Broadcast
List<Integer> broadcastData = Arrays.asList(1, 2, 3, 4, 5);
final Broadcast<List<Integer>> broadcast =
sparkContext.broadcast(broadcastData);
// 获取Broadcast值
rdd.foreach(x -> {
System.out.println("broadcast id: " + broadcast.id() + ", value: " + broadcast.value());
});
// 关闭JavaSparkContext
sparkContext.close();
}
}
运行
运行应用后,可以看到控制台输出如下:
broadcast id: 0, value: [1, 2, 3, 4, 5]
broadcast id: 0, value: [1, 2, 3, 4, 5]
broadcast id: 0, value: [1, 2, 3, 4, 5]
broadcast id: 0, value: [1, 2, 3, 4, 5]
broadcast id: 0, value: [1, 2, 3, 4, 5]
broadcast id: 0, value: [1, 2, 3, 4, 5]
创建广播变量后,应在群集上运行的任何函数中使用它而不是广播变量的值,以便广播变量的值不会多次发送到节点。此外,在广播变量在被广播后,不应修改它,以确保所有节点都获得广播变量的相同值。
广播变量的id属性是广播变量的唯一标识符。
源码
上述示例源码,可以在https://github.com/waylau/apache-spark-tutorial仓库BroadcastSample示例中找到。
- 为了保障您的信息安全,请勿上传您的敏感个人信息(如您的密码等信息)和您的敏感资产信息(如关键源代码、签名私钥、调试安装包、业务日志等信息),且您需自行承担由此产生的信息泄露等安全风险。
- 如您发布的内容为转载内容,请注明内容来源。
我要发帖子






































苏公安网备 32011402010933号