Spark系列043——Spark集群之Standalone模式集群下的高可用方案
默认情况下,Standalone调度集群对Worker故障具有弹性(只要Spark本身通过将工作移动到其他Worker来恢复丢失工作)。但是,由于调度程序是依赖Master节点来做出调度决策,而这可能会造成单点故障。换言之,如果Master节点崩溃,则无法创建新的应用程序。
为了规避这种情况,Spark提供了两个高可用性方案,本文将详细介绍。
使用ZooKeeper的备用Master
概述
利用ZooKeeper提供领导者选举和一些状态存储,可以在连接到同一ZooKeeper实例的集群中启动多个Master。其中一个Master节点将当选为leader时,其他Master节点将保持备用模式。如果当前leader挂了,将选举另一个Master,恢复旧Master的状态,然后恢复调度。整个恢复过程(从第一个leader关闭开始)应该需要1到2分钟。请注意,此延迟仅影响调度新应用程序——在Master故障切换期间已经运行的应用程序不受影响。
了解有关ZooKeeper入门信息可以参阅《分布式系统常用技术及案例分析》。
配置
为了启用此恢复模式,可以通过在 spark-env 中设置SPK_DAEMON_JAVA_OPTS的配置spark.deploy.recoveryMode 和spark.deploy.zookeeper.* 相关的配置实现。
详细说明
在设置了ZooKeeper集群后,启用高可用性就很简单了。只需在不同节点上启动多个Master进程,使用相同的ZooKeeper配置(ZooKeeper URL和目录)。可以随时添加和删除Master节点。
为了调度新应用程序或将Worker程序添加到集群,他们需要知道当前leader节点的IP地址。这可以通过简单地传递一个master列表来完成。例如,可以启动指向 spark://host1:port1,host2:port2的SparkContext。这将导致您的SparkContext尝试向两个Master注册——如果host1关闭,此配置仍然是正确的,因为我们会找到新的leader节点host2。
使用本地文件系统的单节点恢复
概述
ZooKeeper是实现生产级高可用性的最佳方法,但如果只是想在Master发生故障时重新启动它,则FILESYSTEM模式可以解决它。当应用程序和 Worker程序注册时,它们有足够的状态写入提供的目录,以便在重新启动Master进程时恢复它们。
配置
为了启用此恢复模式,可以使用以下配置在spark-env中设置SPN_DAEMON_JAVA_OPTS:
| 系统属性 | 意思 | 自版本 |
| spark.deploy.recoveryMode | 设置为FILESYSTEM 系统以启用单节点恢复模式(默认值:无)。 | 0.8.1 |
| spark.deploy.recoveryDirectory | Spark将存储恢复状态的目录,从Master的角度访问。 | 0.8.1 |
详细说明
- 此解决方案可与流程监控器/管理器一起使用,比如monit (https://mmonit.com/monit/),或仅通过启用手动恢复重启即可。
- 虽然文件系统恢复似乎比根本不进行任何恢复要好,但对于某些开发或实验目的,这种模式可能是次优的。特别是,通过stop-master.sh杀死主机不会清除其恢复状态,因此每当启动新的主机时,它都会进入恢复模式。如果需要等待所有以前注册的Worker进程/客户端超时,这可能会将启动时间增加1分钟。
- 也可以装载NFS目录作为恢复目录,虽然它不是官方支持的方式。如果原始Master节点完全死亡,则可以在另一个节点上启动Master,该节点将正确恢复所有以前注册的Worker/应用程序(相当于ZooKeeper恢复)。然而,未来的应用程序必须能够找到新的Master,才能注册。
参考
- 本系列归档至《跟老卫学Apache Spark开发》 https://github.com/waylau/apache-spark-tutorial
- 《分布式系统常用技术及案例分析》:https://github.com/waylau/distributed-systems-technologies-and-cases-analysis
- 为了保障您的信息安全,请勿上传您的敏感个人信息(如您的密码等信息)和您的敏感资产信息(如关键源代码、签名私钥、调试安装包、业务日志等信息),且您需自行承担由此产生的信息泄露等安全风险。
- 如您发布的内容为转载内容,请注明内容来源。
我要发帖子







































苏公安网备 32011402010933号