文档开发者中心
我的

Spark系列043——Spark集群之Standalone模式集群下的高可用方案

默认情况下,Standalone调度集群对Worker故障具有弹性(只要Spark本身通过将工作移动到其他Worker来恢复丢失工作)。但是,由于调度程序是依赖Master节点来做出调度决策,而这可能会造成单点故障。换言之,如果Master节点崩溃,则无法创建新的应用程序。

为了规避这种情况,Spark提供了两个高可用性方案,本文将详细介绍。

使用ZooKeeper的备用Master

概述

利用ZooKeeper提供领导者选举和一些状态存储,可以在连接到同一ZooKeeper实例的集群中启动多个Master。其中一个Master节点将当选为leader时,其他Master节点将保持备用模式。如果当前leader挂了,将选举另一个Master,恢复旧Master的状态,然后恢复调度。整个恢复过程(从第一个leader关闭开始)应该需要1到2分钟。请注意,此延迟仅影响调度新应用程序——在Master故障切换期间已经运行的应用程序不受影响。

了解有关ZooKeeper入门信息可以参阅《分布式系统常用技术及案例分析》。

配置

为了启用此恢复模式,可以通过在 spark-env 中设置SPK_DAEMON_JAVA_OPTS的配置spark.deploy.recoveryMode 和spark.deploy.zookeeper.* 相关的配置实现。

详细说明

在设置了ZooKeeper集群后,启用高可用性就很简单了。只需在不同节点上启动多个Master进程,使用相同的ZooKeeper配置(ZooKeeper URL和目录)。可以随时添加和删除Master节点。

为了调度新应用程序或将Worker程序添加到集群,他们需要知道当前leader节点的IP地址。这可以通过简单地传递一个master列表来完成。例如,可以启动指向 spark://host1:port1,host2:port2的SparkContext。这将导致您的SparkContext尝试向两个Master注册——如果host1关闭,此配置仍然是正确的,因为我们会找到新的leader节点host2。

使用本地文件系统的单节点恢复

概述

ZooKeeper是实现生产级高可用性的最佳方法,但如果只是想在Master发生故障时重新启动它,则FILESYSTEM模式可以解决它。当应用程序和 Worker程序注册时,它们有足够的状态写入提供的目录,以便在重新启动Master进程时恢复它们。

配置

为了启用此恢复模式,可以使用以下配置在spark-env中设置SPN_DAEMON_JAVA_OPTS:

系统属性

意思

自版本

spark.deploy.recoveryMode

设置为FILESYSTEM 系统以启用单节点恢复模式(默认值:无)。

0.8.1

spark.deploy.recoveryDirectory

Spark将存储恢复状态的目录,从Master的角度访问。

0.8.1

详细说明

  • 此解决方案可与流程监控器/管理器一起使用,比如monit (https://mmonit.com/monit/),或仅通过启用手动恢复重启即可。
  • 虽然文件系统恢复似乎比根本不进行任何恢复要好,但对于某些开发或实验目的,这种模式可能是次优的。特别是,通过stop-master.sh杀死主机不会清除其恢复状态,因此每当启动新的主机时,它都会进入恢复模式。如果需要等待所有以前注册的Worker进程/客户端超时,这可能会将启动时间增加1分钟。
  • 也可以装载NFS目录作为恢复目录,虽然它不是官方支持的方式。如果原始Master节点完全死亡,则可以在另一个节点上启动Master,该节点将正确恢复所有以前注册的Worker/应用程序(相当于ZooKeeper恢复)。然而,未来的应用程序必须能够找到新的Master,才能注册。

参考

  • 本系列归档至《跟老卫学Apache Spark开发》 https://github.com/waylau/apache-spark-tutorial
  • 《分布式系统常用技术及案例分析》:https://github.com/waylau/distributed-systems-technologies-and-cases-analysis
点赞
收藏
回复
4
分享
举报
浏览620 发布于2021-11-23 07:00未知归属地
全部评论
最多点赞
最新发布
最早发布
支持大佬一波,希望能学到更多。
1
2楼回复于2021-11-24 11:27 未知归属地
  • waylau
    多谢支持!
    2021-11-24 14:55 未知归属地
不错的文章,受益匪浅。
1
1楼回复于2021-11-23 11:47 未知归属地
  • waylau
    哈哈,~多谢支持!期待后续更新
    2021-11-23 11:57 未知归属地
写回答
新增插入模板功能
一键使用模板,快速填写内容,轻松发帖~
知道了
  • 为了保障您的信息安全,请勿上传您的敏感个人信息(如您的密码等信息)和您的敏感资产信息(如关键源代码、签名私钥、调试安装包、业务日志等信息),且您需自行承担由此产生的信息泄露等安全风险。
  • 如您发布的内容为转载内容,请注明内容来源。

我要发帖子

目录 收起
使用ZooKeeper的备用Master
概述
配置
详细说明
使用本地文件系统的单节点恢复
概述
配置
详细说明
参考
了解社区公约,与您携手共创和谐专业的开发者社区。