发布网友 发布时间:2022-04-14 14:59
共4个回答
懂视网 时间:2022-04-14 19:21
工作需要,要开始搞hadoop了,又是大数据,自己感觉大数据、云,只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织,Java如果没有它也不会现在如火中天。言归正传: 首先需要下载Apache hadoop 2.4.0的tar.gz包,到本地解压缩到
工作需要,要开始搞hadoop了,又是大数据,自己感觉大数据、云,只是ERP、SOAP风潮之后与智能地球一起诞生的概念炒作。不过Apache是个神奇的组织,Java如果没有它也不会现在如火中天。言归正传:
首先需要下载Apache hadoop 2.4.0的tar.gz包,到本地解压缩到某个盘下,注意路径里不要带空格。否则你配置文件里需要用windows 8.3格式的路径!
第二确保操作系统是64bit,已安装.netframework4.0以上版本,这个你懂的,微软的天下,没有这个怎么混!
第三确保安装了64 bit 版本的JDK1.7,笔者使用的就是JDK1.7.
第四请到github下载hadoop-commin-2.2.zip,官方下载的Apache hadoop 2.4.0的压缩包里,缺少windows下运行的链接库(hadoop.dll,winutils.exe,libwinutils.lib等),这个github的是大佬们编译好的64bit版的链接库包。下载直接解压缩,覆盖掉官方hadoop目录下的bin目录即可。
如果你想在windows下编译安装hadoop,则请直接参考官方原版文档:Hadoop2.X Windows安装指南
接下来进行配置(大部分摘抄自官方文档):
我的Hadoop解压缩目录是D:Hadoop_2_4_0,以下简称h_home
首先,修改%h_home%etchadoop的hadoop-env.cmd脚本文件,在文件末尾增加环境变量定义。注意找到文件最初的JAVA_HOME设置,改成你的64位JDK路径,这一点一定要注意!比如我的:“set JAVA_HOME=D:OLD_JDKjdk1.7.0_51”
set HADOOP_PREFIX=c:deploy set HADOOP_CONF_DIR=%HADOOP_PREFIX%etchadoop set YARN_CONF_DIR=%HADOOP_CONF_DIR% set PATH=%PATH%;%HADOOP_PREFIX%in
之后在该路径下找到或创建core-site.xml文件,修改内容如下:
接下来是 hdfs-site.xml 文件,一样的修改内容如下。配置文件默认使用 mp目录作为hdfs文件的存储位置,比如我解压hadoop在D:下,则它就会创建D: mp来存放HDFS文件系统。fs.default.name hdfs://0.0.0.0:19000
基本配置ok。dfs.replication 1
接下来我们配置一个YARN示例:
还是在该配置文件路径下,修改或者创建一个mapred-site.xml文件,路径下有个同名的模板文件,可以直接复制,然后修改其中的内容。注意替换配置文件中%USERNAME% 为你windows的用户名。
mapreduce.job.user.name %USERNAME% mapreduce.framework.name yarn yarn.apps.stagingDir /user/%USERNAME%/staging mapreduce.jobtracker.address local
最后,创建yarn-site.xml文件,变更内容如下:
ok,全部配置都改完了。点击命令提示符(管理员)运行命令提示符,切换到hadoop的安装目录。进行以下操作yarn.server.resourcemanager.address 0.0.0.0:8020 yarn.server.resourcemanager.application.expiry.interval 60000 yarn.server.nodemanager.address 0.0.0.0:45454 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.server.nodemanager.remote-app-log-dir /app-logs yarn.nodemanager.log-dirs /dep/logs/userlogs yarn.server.mapreduce-appmanager.attempt-listener.bindAddress 0.0.0.0 yarn.server.mapreduce-appmanager.client-service.bindAddress 0.0.0.0 yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds -1 yarn.application.classpath %HADOOP_CONF_DIR%,%HADOOP_COMMON_HOME%/share/hadoop/common/*,%HADOOP_COMMON_HOME%/share/hadoop/common/lib/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/*,%HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/*,%HADOOP_MAPRED_HOME%/share/hadoop/mapreduce/lib/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/*,%HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*
1、切换到etc/hadoop目录,运行hadoop-env.cmd脚本,设置当前命令窗口执行环境变量。
2、格式化HDFS文件系统(建议切换到bin目录然后执行命令):
%HADOOP_PREFIX%inhdfs namenode -format
3、运行HDFS示例:
%HADOOP_PREFIX%sbinstart-dfs.cmd不报错的话,部署就ok了!!!
热心网友 时间:2022-04-14 16:29
方法如下:
用虚拟机建立一个虚拟盘运行win8.1iso镜像系统,并进入系统安装
1、内存和硬盘的选择可以根据主机的配置设定,内存选择2G,硬盘30G上下即可,如果要安装的软件软多,可以再加大。
2、输入产品密钥,接受许可条款。
产品密钥 334NH-RXG76-64THK-C7CKG-D3VPT
3、选择安装类型,选择第二个自定义安装
4、这时由于安装时间有点长,要耐心等待
5、接下的相关设置都有中文提示,根据提示设置就行
6、安装完后,设置分辨率,根据喜好可以随意更换壁纸
热心网友 时间:2022-04-14 17:47
步骤如下:一、准备工作:热心网友 时间:2022-04-14 19:21
你用的什么虚拟机