spark 4040页面 不能访问。如果使用的是spark-shell启动写程序,4040可 ...
发布网友
发布时间：2022-04-23 20:27
共1个回答
热心网友
时间：2022-04-21 06:44
4040页面只有在有spark 任务运行时才能访问，你在任务访问日志里也能找到类似的语句，提交job后Spark-UI才会启动。
当任务运行完了，立马端口就释放了。
所以建议你配置一下spark-history 页面，运行完了可以查看已经finished的job，下面是简单的配置步骤，具体的还请百度教程。
spark-default.conf中配置如下参数
spark.eventLog.enabled true
spark.eventLog.dir hdfs://hadoopmaster:8020/user/spark_event_log
spark.history.fs.logDirectory hdfs://hadoopmaster:8020/user/spark_event_log
web ui http://sparkmaster:18080/
spark-env.sh
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=7777 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://had
oop000:8020/directory"
参数描述：
spark.history.ui.port=7777 调整WEBUI访问的端口号为7777
spark.history.fs.logDirectory=hdfs://hadoop000:8020/directory 配置了该属性后，在start-history-server.sh时就无需再显示的指定路径
spark.history.retainedApplications=3 指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除
启动
cd $SPARK_HOME/sbin
start-history-server.sh
需要在启动时指定目录：
start-history-server.shhdfs://hadoop000:8020/directory
注意的是spark 程序中需要将sparkcontext stop 掉，否则即便是运行完毕，web页面也只能显示incompleted applications，而不是completed applications
