spark使用YARN替换自己的资源管理器,那么进 程是哪两个?
发布网友
发布时间:2022-05-21 04:22
我来回答
共1个回答
热心网友
时间:2023-10-14 09:22
驱动器节点。用于执行Spark任务中的main方法,负责实际代码的执行工作,Driver在Spark作业执行时主要负责,driver是启动在本地机器的,而且driver是全权负责所有的任务的调度的,也就是说要跟yarn集群上运行的多个executor进行频繁的通信(中间有task的启动消息、task的执行统计消息、task的运行状态、shuffle的输出结果)。