spark无法加载本地代码

发布网友发布时间：2022-05-14 15:29

共1个回答

热心网友时间：2023-11-13 14:38

因为 spark-shell 如果启动了集群模式，真正负责计算的executor会在，该executor所在的 worker节点上读取文件，并不是在master节点上读取。
解决方案：把数据文件传给各个worker节点。Spark是第一个脱胎于该转变的快速、通用分布式计算范式，并且很快流行起来。Spark是使用scala实现的基于内存计算的大数据开源集群计算环境，提供了java、scala，python、R等语言的调用接口。

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com