spark在windows开发怎么测试

发布网友发布时间：2022-05-09 18:57

共1个回答

热心网友时间：2023-05-31 17:50

1、windows下环境
在安装开发软件之前，首先需要安装JAVA 和SCALA,并且配置好环境变量。
2、java开发spark程序
1）下载eclise软件，下载地址：http://www.eclipse.org/downloads/packages/eclipse-ide-java-developers/mars2 尽量下载最新的，而且自带maven的eclipse
2）打开eclipse软件，创建maven项目：
点击 file ->new ->others ->maven project 点击 next ，
选择maven-archetype-quickstart ，点击 next，
group id 为 com.dt.spark，artifact id 为sparkApps，
然后点击 finish。
3）修改JDK和pom文件
创建 maven 项目后，默认的 jdk 是 1.5 要改成我们前面安装好的 jdk1.8 。在项目上右击 build path ->configure build path 。在弹出页面点击 Libraries，选中 jre system library 。点击 edit，在弹出框选择 workspace default jre ，然后点击 finish。然
后在点击 ok。将 pom 文件修改为如下内容，然后等待 eclipse 下载好 maven 依赖的 jar 包，并编译工程。编译好工程后有个错误提示，在此错误列上，右击选择 quick fix ，在弹出页面点击 finish 即可。