问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

什么叫hadoop伪分布 ,是一台主机里有虚拟机这样

发布网友 发布时间:2022-04-25 21:02

我来回答

1个回答

热心网友 时间:2022-04-11 23:04

伪分布模式也是在一台单机上运行,但用不同的 Java 进程模仿分布式运行中的各类结点 ( NameNode, DataNode, JobTracker, TaskTracker, Secondary NameNode ),分布式运行中的这几个结点的区别:
从分布式存储的角度来说,集群中的结点由一个 NameNode 和若干个 DataNode 组成, 另有一个 Secondary NameNode 作为 NameNode 的备份。
从分布式应用的角度来说,集群中的结点由一个 JobTracker 和若干个 TaskTracker 组成,JobTracker 负责任务的调度,TaskTracker 负责并行执行任务。
TaskTracker 必须运行在 DataNode 上,这样便于数据的本地计算。JobTracker 和 NameNode 则无须在同一台机器上。
伪分布模式安装步骤:
1.解压到某目录下并设置JAVA_HOME。
2.修改配置文件:
a)修改conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
b)修改conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
c)修改conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
#参数 fs.default.name 指定 NameNode 的 IP 地址和端口号。缺省值是 file:///, 表示使用本地文件系统, 用于单机非分布式模式。此处我们指定使用运行于本机 localhost 上的 NameNode。
#参数 mapred.job.tracker 指定 JobTracker 的 IP 地址和端口号。缺省值是 local, 表示在本地同一 Java 进程内执行 JobTracker 和 TaskTracker, 用于单机非分布式模式。此处我们指定使用运行于本机 localhost 上的 JobTracker ( 用一个单独的 Java 进程做 JobTracker )。
#参数 dfs.replication 指定 HDFS 中每个 Block 被复制的次数,起数据冗余备份的作用。 在典型的生产系统中,这个数常常设置为3。追问修改conf/core-site.xml:

fs.default.name
hdfs://localhost:9000

这里的localhost 是虚拟机中的ip还是主机中的ip,我用虚拟机网卡是net链接

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
男人醉女人累原歌 我大概在2009年玩的很早的一款冒险动作游戏有一关是埃及狗头人主角捡武... 提成点数怎么算公式 Huamei/华美每日粗粮粗纤维饼-适用对象 0pp01107格式化后成白屏且不能开机怎么办 五邑大学是市属还是省属 五邑大学校区有几个 窝瓜焖荷包蛋怎么做? 达科塔·芬妮简要生平 湖北自动冷库多少钱 虚拟机centos单机hadoop安装完成后怎么配置hadoop伪分布集群 hadoop伪分布模式只要在一台虚拟机上配置吗?其他的呢? oppo手环怎么佩戴 多媒体信息发布系统的原则要求 多媒体信息发布系统的实施方案 多媒体信息发布系统 多媒体信息发布系统方案怎么做 多媒体信息发布系统的作用是什么? U盘传输文件,拔下来再插上文件就没了,怎么回事 U盘传输文件,拔下来再插上文件就没了,怎么回事 我在海信电视机上安装了多媒体信息发布系统怎么使用? 把文件存到优盘里,安全弹出了,然后拔出,插上的时候,就没有了,这是为什么 把文件存到优盘里,安全弹出了,然后拔出,插上的时候,就没有了,这是为什么 多媒体信息发布系统有哪些特点? 为什么我往u盘写入文件,却消失了? 为什么我往u盘写入文件,却消失了? 多媒体信息发布系统解决方案 多媒体信息发布系统的系统简介 u盘拔出后数据消失 u盘拔出后数据消失 Hadoop中单机模式和伪分布式分别是什么? hadoop伪分布和分布的区别 租赁合同成立的要件有哪些 hadoop 伪分布系统的确切定义是什么?可以在一台物理机上实现1个nameno... 租房合同都包括什么要素 ubuntu12.04下hadoop伪分布模式下/etc/hosts文件怎么配置 租赁合同常识要点有哪些 hadoop伪分布和全分布主要区别 房屋租赁合同成立的要件有哪些 虚拟机+ubuntu11.04环境下配置伪分布的hadoop,在执行到启动hadoop步骤时... 为什么搭建hadoop伪分布模式后data文件夹里什么文件也没有? 有人用过天际电器的陶瓷电饭煲吗,煮饭的饭健康吗? Ubuntu下搭建hadoop的伪分布时,怎么设置静态IP?网关填什么?这个需要设 ... 天际电器陶瓷电饭锅粘锅不,是不是有特氟龙。 房屋租赁合同怎样才算生效 hadoop的伪分布式搭建跟完全分布式的搭建除了ssh跟要拷贝到别的电脑以外,伪分布的配置文件跟 hadoop官网上Single Node 就是伪分布? 用过天际电器陶瓷电饭锅出来,说说米饭好吃吗 能解除租赁合同的要素有哪些 跪求一个好点的电饭煲?