idea连接sparkworker重启

发布网友发布时间：2022-12-17 22:50

共1个回答

热心网友时间：2023-10-09 02:43

Master作为Spark Standalone模式中的核心，如果Master出现异常，则整个集群的运行情况和资源都无法进行管理，整个集群将处于无法工作的状态。
Spark在设计的时候考虑到了这种情况，Master可以起一个或者多个Standby Master，当Master出现异常的时候，Standy Master 将根据一定规则确定一个接管Master。在Standalone模式中Spark支持下面集中策略（spark-env.sh配置spark.deploy.recoveryMode）：

ZOOKEEPER：集群的元数据持久化到Zookeeper中，当Master出现异常后，Zookeeper会通过选举机制选出新的Master，新的Master接管时需要从Zookeeper中获取之前集群的持久化信息，并根据这些信息恢复集群状态。
FILESYSTEM：集群的元数据持久化到本地的文件系统中，当Master出现问题后只要在该机器上重新启动Master，重启后的Master会根据之前的持久化信息恢复集群状态。
CUSTOM：自定义恢复方式，对StandaloneRecoveryModeFactory抽象类进行实现并把该类配置到系统中，当Master