ubuntu 16.04怎么配置spark环境
发布网友
发布时间：2022-04-23 20:27
共1个回答
热心网友
时间：2022-04-14 03:19
1，download :http://spark.incubator.apache.org/downloads.html选择prebuilt:中hadoop2的下载，hadoop安装就不介绍了，spark节点可以不是hadoop节点，可以是一个hadoop客户端。
2，download scala，http://www.scala-lang.org/download/all.html根据下载的spark的README中的描述下载合适的版本
3，安装 其实就是解压，配置 /etc/profile环境变量
export SPARK_HOME=/data1/spark/spark
export SCALA_HOME=/data1/spark/scala-2.9.3
export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin
配置spark的conf下的spark-env.sh
export JAVA_HOME=/usr/java/default
export SCALA_HOME=/data1/spark/scala-2.9.3
export SPARK_MASTER_IP=192.168.0.1
export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_WEBUI_PORT=8000
export YARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop
配置slaves(ip根据需要修改)
192.168.0.2
192.168.0.3
分发spark目录和scala目录到几台服务器相同路径下
4,启动
进入主节点的spark目录的bin下stop-all.sh是停掉集群，start-all.sh启动集群，jps可以在主节点看到master进程，slave节点看到worker进程
5， 运行程序，运行例子进入spark目录下
分布式运行
./run-example org.apache.spark.examples.SparkPi spark://192.168.0.1:7077
./run-example org.apache.spark.examples.SparkLR spark://192.168.0.1:7077
本地运行
./run-example org.apache.spark.examples.SparkPi local
./run-example org.apache.spark.examples.SparkLR local
