centos 7一台服务器怎么安装hadoop伪分布
发布网友
发布时间：2022-04-21 17:41
共1个回答
热心网友
时间：2022-04-11 23:04
1、首先下载安装包tar zxvf hadoop-2.7.1.tar.gz
2.在虚拟机中解压安装包
3.安装目录下创建数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name
4、修改/home/yy/hadoop-2.7.1/etc/hadoop下的配置文件
修改core-site.xml，加上
fs.defaultFS
hdfs://s204:9000
hadoop.tmp.dir
file:/home/yy/hadoop-2.7.1/tmp
io.file.buffer.size
131702
5.修改hdfs-site.xml，加上
dfs.namenode.name.dir
file:/home/yy/hadoop-2.7.1/dfs/name
dfs.datanode.data.dir
file:/home/yy/hadoop-2.7.1/dfs/data
dfs.replication
2
dfs.namenode.secondary.http-address
s204:9001
dfs.webhdfs.enabled
true
6.修改mapred-site.xml，加上
maprece.framework.name
yarn
maprece.jobhistory.address
s204:10020
maprece.jobhistory.webapp.address
s204:19888
7.修改yarn-site.xml，加上
yarn.nodemanager.aux-services
maprece_shuffle
yarn.nodemanager.auxservices.maprece.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address
s204:8032
yarn.resourcemanager.scheler.address
s204:8030
yarn.resourcemanager.resource-tracker.address
s204:8031
yarn.resourcemanager.admin.address
s204:8033
yarn.resourcemanager.webapp.address
s204:8088
yarn.nodemanager.resource.memory-mb
768
8、配置/home/yy/hadoop-2.7.1/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME，否则启动时会报error
export JAVA_HOME=/home/yy/jdk1.8
9.配置/home/yy/hadoop-2.7.1/etc/hadoop目录下slaves
加上你的从服务器，我这里只有一个s205
配置成功后，将hadhoop复制到各个从服务器上
scp -r /home/yy/hadoop-2.7.1 root@s205:/home/yy/
10.主服务器上执行bin/hdfs namenode -format
进行初始化
sbin目录下执行 ./start-all.sh
可以使用jps查看信息
停止的话，输入命令，sbin/stop-all.sh
11.这时可以浏览器打开s204:8088查看集群信息啦
到此配置完成
hadoop
