问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

如何在CentOS下安装Hadoop并与Eclipse连接

发布网友 发布时间:2022-04-21 07:08

我来回答

2个回答

热心网友 时间:2022-04-09 17:31

  先说一下要准备哪些软件和信息:
  VMware-workstation;
  CentOS-6.0-i386-bin-DVD;
  eclipse-jee-luna-SR1-win32;
  hadoop-0.20.2;
  jdk-6u27-linux-i586;
  (由于hadoop对版本的要求较高,大家还是不要轻易更换版本,这里列出来的各种软件都是稳定发布版,网上很容易可以download到的)。
  整个教程分为这样5个部分来说:1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;2)centos下设置ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下安装hadoop,并配置文件;5)windows下安装jdk和eclipse,并将eclipse与centos下的hadoop连接。可以说这5个部分每一个都很重要,尤其是第4)步。下面我们就详细说一下每一步该怎么做。
  Step 0: 请大家先在windows下新建一个普通用户,用户名为hadoop,我们所有的软件全在这个下面安装,用户名最好要是hadoop,因为这个要和后面很多username相同,设为hadoop比较好记。
  1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;
  首先,下载VMware-workstation并安装,这步骤和一般windows下安装软件的过程是一样的,入门小白也会熟练操作,这里就节省点儿空间给后面重要的步骤了~
  然后,在Vmware的主页上新建一个虚拟机

  一路下一步,直到让你选择系统镜像路径,我们选择centos系统映像,如上图,点击下一步。然后,需要你输入linux的用户名,这个比较重要,最好填写hadoop,因为这个名字在后面要用到好多次!

  后面还是一路的“下一步”,直到让你设置虚拟机的内存大小,建议为1024M。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,建议为“使用网络地址转换NAT”,如下图。这一步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间就这样白花花的没了~~

  之后还是一路的“下一步”,几乎都是使用它推荐的设置,我们就可以新建一个centos,等待个几分钟然后就可以进入centos界面了。看到那一抹科技蓝,有没有让你心动了呢~~哈哈哈,你确实走好了第一步!
  2)centos下设置ssh服务无密码登录;
  在桌面右击,选择openin Terminal,这个就是linux的终端了。希望读者有一些linux操作系统的基础,这样子上手更快一些。不过要是没有的话,也没有关系,我们是面向新手的教程。

  2.1. 先在linux命令行中输入su,提示密码,输入你自己设置的密码,这样子你后面的操作都具有了linux系统下的最高权限——root权限。
  2.2. 在设置ssh无密码登录之前,有一个特别重要的要先出好:关闭SELinux。这是因为centos会自动阻止你修改sshservice,我们只有关闭SELinux,重启才能生效。如何做,如下:
  修改/etc/selinux/config文件
  将SELINUX=enforcing改为SELINUX=disabled
  重启机器即可
  (note:在linux下修改文件,vi命令后会进入到文件窗口,按i进入insert,修改完毕之后再按esc推出insert,输入;:wq!保存并退出~这里要感谢泡哥,改了半天都不行,还是泡哥指点迷津了~~)
  2.3. 在linux命令行里输入:ssh-keygen -t rsa,然后一路回车。
  root@hadoopName-desktop:~$ssh-keygen -t rsa
  Generating public/private rsakey pair.
  Enterfile in which to save the key (/home/zhangtao/.ssh/id_rsa): //密钥保存位置,直接回车保持默认;
  Createddirectory '/home/zhangtao/.ssh'.
  Enter passphrase(empty for no passphrase): //设置密钥的密码,空密码直接回车即可;
  Enter samepassphrase again: //确认上一步设置的密码。
  然后进入 /root/.ssh/下面,会看到两个文件 id_rsa.pub,id_rsa,
  然后执行cp id_rsa.pub authorized_keys
  然后 ssh localhost 验证是否成功,第一次要你输入yes,以后就不需要了。
  如下图,由于我又验证了一次,所以还需要输入y,如果你是第一次验证是不要的。

  至此,ssh服务无密码登录设置完毕!
  3)centos下安装jdk,并配置环境变量;
  这一步中可以分为两步:安装jdk、配置jdk环境变量。
  3.1. 第一步:root 用户登陆,使用命令mkdir /usr/program新建目录/usr/program ,下载 JDK 安装包jdk-6u13-linux-i586.bin,将其复制到目录/usr/program下,用cd命令进入该目录,执行命令“./ jdk-6u13-linux-i586.bin”,命令运行完毕即安装完成,将在目录下生成文件夹/jdk1.6.0_13,此即为jdk被成功安装到目录:/usr/program/jdk1.6.0_13下。
  3.2. root 用户登陆,命令行中执行命令“vi/etc/profile”,并加入以下内容,配置环境变量(注意/etc/profile这个文件很重要,后面 Hadoop 的配置还会用到)。
  # set java environment
  exportJAVA_HOME=/usr/program/jdk1.6.0_27
  exportJRE_HOME=/usr/program/jdk1.6.0_27/jre
  export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
  export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
  在vi编辑器增加以上内容后保存退出,并执行以下命令使配置生效!
  #chmod +x /etc/profile ;增加执行权限
  #source /etc/profile;使配置生效!
  配置完毕后,在命令行中输入:java -version,就会出现安装jdk的信息。

  这时,jdk的安装和配置环境变量就成功了~

热心网友 时间:2022-04-09 18:49

去百上查查
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
关于第一次经典语录 ...三个月后打开包装发现里面零件全部损坏,请问能去超市退换 微单相机哪个品牌好 一首歌在酷狗上查找猪猪非主流歌曲club 沙拉拉就有求歌名 一首英文DJ,歌词是"刷啦啦哩,刷啦啦啦哩"还有歌词听起来好像是:"I wa... sha la la la sha la la lei 是什么歌 男孩起名字大全免费2025年 姓李的男孩起名字大全 ...九月十二(阴历)下午16点 出生 姓李 希望大师给起个好点的名字... 电脑开机提示先激活windows电脑上出现要激活WINDOWS是什么意思_百度知 ... 中国建设银行从邮政储蓄银行提钱会产生多少费用 如何配置Hadoop环境 你好,你是怎么在本地eclipse连接虚拟机上的hadoop的? 如何安装hadoop 怎么将eclipse和hadoop集群相连接 如何搭建hadoop集群 桥接 hadoop 为什么要与eclipse连接 eclipse远程连接hadoop 不能连接 如何用idea能不能远程连接hadoop notepad++怎么连接hadoop文件 eclipse怎样使用maven连接hadoop集群 linux怎么链接hadoop的集群 现有 java web程序,如何去连接hadoop? 如何在win7下的eclipse中调试Hadoop2.2.0的程序 为什么每次连接hadoop都要格式化才可以连接上 qq情侣黄钻解除了黄钻还在吗 𢁉寮这两个字怎么读? qq黄钻是什么? QQ的情侣黄钻和黄钻功能一样吗? qq情侣黄钻一个是黄钻开了之后另一个是黄钻吗 双方都是黄钻,现在开通了情侣空间,自动点亮了情侣黄钻,那我还用续费情侣黄钻么? 怎么更改hive连接hadoop的地址 myeclipse 连接hadoop失败 java.io.eofexception 如何使用Hadoop进入大数据库时代 如何在hadoop下连接hive 电脑卸载软件后提示重启? 卸载软件时电脑自动重启,怎么回事? 卸载某些软件后计算机为什么要重启 某些软件卸载后为什么要重启电脑 为什么电脑把软件删除重启后还在后台运行? 为什么一些软件卸载后需要重启才能完全删除呢? 为什么一卸载软件就自动关机重启? 卸载软件时电脑自动重启..怎么回事啊.. 软件安装和卸载时为什么提示电脑需重新启动 软件卸载后在重新启动为什么还在啊 卸载程序后电脑为什么要提示重启啊? 为什么一些软件卸载后需要重启才能完全删除 电脑蓝屏怎么办? 一卸载软件电脑就重启 怎么办 请问是什么 银行卡补办后原来的卡还能用吗?