怎么将eclipse和hadoop集群相连接

发布网友发布时间：2022-04-21 07:08

共1个回答

热心网友时间：2022-04-12 20:35

Eclipse调用hadoop运行MR程序其实就是普通的java程序可以提交MR任务到集群执行而已。在Hadoop1中，只需指定jt(jobtracker)和fs(namenode)即可，一般如下:
Configuration conf = new Configuration();
conf.set("mapred.job.tracker", "192.168.128.138:9001");
conf.set("fs.default.name","192.168.128.138:9000");

上面的代码在hadoop1中运行是ok的，完全可以使用java提交任务到集群运行。但是，hadoop2却是没有了jt，新增了yarn。这个要如何使用呢?最简单的想法，同样指定其配置，试试。

Configuration conf = new YarnConfiguration();
conf.set("fs.defaultFS", "hdfs://node31:9000");
conf.set("maprece.framework.name", "yarn");
conf.set("yarn.resourcemanager.address", "node31:8032");

恩，这样配置后，可以运行