文档开发者中心
我的

Spark系列008——Spark广播变量

Spark的广播变量,用于向所有节点广播不可变数据集。

广播变量允许Spark程序在每台计算机上保留只读变量缓存,而不是将其副本与任务一起传送。例如,它们可以用于以有效的方式为每个节点提供大型输入数据集的副本。Spark还尝试使用高效的广播算法分发广播变量,以降低通信成本。

Broadcast 运行原理

Broadcast 就是将数据从一个节点发送到其他的节点上; 例如 Driver 上有一张表,而 Executor 中的每个并行执行的Task (100万个Task) 都要查询这张表的话,那我们通过 Broadcast 的方式就只需要往每个Executor 把这张表发送一次就行了,Executor 中的每个运行的 Task 查询这张唯一的表,而不是每次执行的时候都从 Driver 中获得这张表!

Broadcast 是分布式的共享数据,默认情况下只要程序在运行 Broadcast 变量就会存在,因为 Broadcast 在底层是通过 BlockManager 管理的,Broadcast 是在创建 SparkContext 时被创建的!你也可以手动指定或者配置具体周期来销毁 Broadcast 变量!Broadcast 一般用于处理共享配置文件,通用的数据子,常用的数据结构等等;但是不适合存放太大的数据在Broadcast。Broadcast 不会内存溢出,因为其数据的保存的 Storage Level 是 MEMORY_AND_DISK 的方式(首先优先放在内存中,如果内存不够才放在磁盘上)虽然如此,我们也不可以放入太大的数据在 Broadcast 中,因为网络 I/O 和可能的单点压力会非常大!

为啥 Broadcast 是只读的变量?

这就涉及一致性的问题,如果变量可以被更新,那么一旦变量被某个节点更新,其他节点要不要一块更新?如果多个节点同时在更新,更新顺序是什么?怎么做同步?还会涉及 fault-tolerance 的问题。为了避免维护数据一致性问题,Spark 目前只支持 broadcast 只读变量。

Broadcast 实现原理

Spark 2.0及以后,Broadcast 的实现只保留了TorrentBroadcast一种。

TorrentBroadcast,类似于大家常用的 BitTorrent 技术。基本思想是驱动程序将序列化对象分成小块,并将这些块存储在驱动程序的BlockManager中。

在每个执行器上,执行器首先尝试从其BlockManager中获取对象。如果它不存在,则它将使用远程获取从驱动程序和/或其他执行器(如果可用)获取小块。一旦它获得了块,它就会将块放入自己的BlockManager中,准备好让其他执行器从中获取。

这可以防止驱动程序成为发送广播数据的多个副本(每个执行器一个)的瓶颈。

Broadcast 示例

广播变量是通过调用SparkContext.broadcast(T, scala.reflect.ClassTag<T>) 创建的。广播变量的值可以通过调用value方法访问。下面的例子显示了这一点:

/*

* Copyright (c) waylau.com, 2021. All rights reserved.

*/

package com.waylau.spark.java.samples.broadcast;

import java.util.Arrays;

import java.util.List;

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.broadcast.Broadcast;

/**

* Broadcast Sample

*

* @author <a href="https://waylau.com">Way Lau</a>

* @since 2021-07-22

*/

public class BroadcastSample {

public static void main(String[] args) {

// 要构建一个包含有Spark关应用程序信息的SparkConf对象

SparkConf conf = new SparkConf()

.setAppName("CollectionAccumulator")// 设置应用名称

.setMaster("local[4]"); // 本地4核运行

// 创建一个JavaSparkContext对象,它告诉Spark如何访问集群

JavaSparkContext sparkContext = new JavaSparkContext(conf);

// 创建RDD

List<Double> data = Arrays.asList(1.1D, 2.2D, 3.3D, 4.4D, 5.5D, 6.5D);

JavaRDD<Double> rdd = sparkContext.parallelize(data, 5);

// 创建Broadcast

List<Integer> broadcastData = Arrays.asList(1, 2, 3, 4, 5);

final Broadcast<List<Integer>> broadcast =

sparkContext.broadcast(broadcastData);

// 获取Broadcast值

rdd.foreach(x -> {

System.out.println("broadcast id: " + broadcast.id() + ", value: " + broadcast.value());

});

// 关闭JavaSparkContext

sparkContext.close();

}

}

运行

运行应用后,可以看到控制台输出如下:

broadcast id: 0, value: [1, 2, 3, 4, 5]

broadcast id: 0, value: [1, 2, 3, 4, 5]

broadcast id: 0, value: [1, 2, 3, 4, 5]

broadcast id: 0, value: [1, 2, 3, 4, 5]

broadcast id: 0, value: [1, 2, 3, 4, 5]

broadcast id: 0, value: [1, 2, 3, 4, 5]

创建广播变量后,应在群集上运行的任何函数中使用它而不是广播变量的值,以便广播变量的值不会多次发送到节点。此外,在广播变量在被广播后,不应修改它,以确保所有节点都获得广播变量的相同值。

广播变量的id属性是广播变量的唯一标识符。

源码

上述示例源码,可以在https://github.com/waylau/apache-spark-tutorial仓库BroadcastSample示例中找到。

点赞
收藏
1
回复
1
分享
举报
浏览1204 发布于2021-07-23 03:34未知归属地
全部评论
最多点赞
最新发布
最早发布
基础教学时间开始了吗~~
1楼回复于2021-07-23 05:31 未知归属地
写回答
新增插入模板功能
一键使用模板,快速填写内容,轻松发帖~
知道了
  • 为了保障您的信息安全,请勿上传您的敏感个人信息(如您的密码等信息)和您的敏感资产信息(如关键源代码、签名私钥、调试安装包、业务日志等信息),且您需自行承担由此产生的信息泄露等安全风险。
  • 如您发布的内容为转载内容,请注明内容来源。

我要发帖子

目录 收起
Broadcast 运行原理
为啥 Broadcast 是只读的变量?
Broadcast 实现原理
Broadcast 示例
运行
源码
了解社区公约,与您携手共创和谐专业的开发者社区。