问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

Hadoop MapReduce优化和资源调度器

发布网友 发布时间:2022-12-24 13:10

我来回答

1个回答

热心网友 时间:2023-08-16 04:49

将所有应用程序放入到一个队列中

局限性

所有资源按照比例划分到不同的队列

每个队列可以实现单独的调度策略

优点

调度器

CapacityScheler

在yarn-site.xml 设置使用CapacityScheler调度器

在Hadoop配置文件目录下/usr/local/hadoop/etc/hadoop创建capacity-scheler.xml,添加信息如下:

配置说明

FairScheler

公平调度器的目的:

FairScheler配置方法
在Hadoop配置目录下/usr/local/hadoop/etc/hadoop yarn-site.xml 增加如下信息:

新建一个公平调度配置文件fair-scheler.xml ,信息如下:

上述配置以 data_bi 用户名作为公平调度的队列名称。

yarn-site.xml参数说明

fair-scheler.xml参数说明

将所有应用程序放入到一个队列中

所有资源按照比例划分到不同的队列

每个队列可以实现单独的调度策略

优点

调度器

CapacityScheler

在yarn-site.xml 设置使用CapacityScheler调度器

在Hadoop配置文件目录下/usr/local/hadoop/etc/hadoop创建capacity-scheler.xml,添加信息如下:

配置说明

FairScheler

公平调度器的目的:

FairScheler配置方法
在Hadoop配置目录下/usr/local/hadoop/etc/hadoop yarn-site.xml 增加如下信息:

新建一个公平调度配置文件fair-scheler.xml ,信息如下:

上述配置以 data_bi 用户名作为公平调度的队列名称。

yarn-site.xml参数说明

fair-scheler.xml参数说明

如果Hadoop启动时,2个名称节点均无法启动,且namenode日志出现如下错误:

是由于使用了root曾启动过hadoop HDFS,因此hadoop用户没有权限访问此文件,因此可以采用以下操作进行恢复。

声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
电脑上制作相册时转换源文件用电脑如何制作相册视频 二十四节气立秋的特点 立秋的来历和风俗-今日头条 立秋这个节气的特点 立秋节气的特点和由来-今日头条 怎么设置电脑键盘灯光笔记本怎么开键盘背光 苹果电脑win10键盘灯怎么开 苹果电脑win10键盘灯打开方法 为什么我电脑CPU 什么都不运行温度还100以上? 麻烦大家看看我的cpu温度不稳定 电脑cpu热怎么解决电脑cpu过热要怎么解决 电脑cpu温度高怎么解决办法 船用螺旋桨厂家 小米手机重置后小米账户忘了密码怎么办 我想知道如何能在PPT文档中导入我下载的模板? 华为手机机主密码忘记了该怎么办? 当负载星形联接时,必须接中性线嘛 工商借记卡1类跟2类的区别 高分,我是14年跨考应用心理专硕的大学生,求一些对考研有用的心理学视频看看,也欢迎师哥师姐们指点 心理学网络课程 假发带带着好看,就是静电特别大,有没有好的方法 北京市西城区11月25曰可以堂食吗? 北京国际饭店现在可以堂食吗 北京12月现在能堂食了吗 北京现在可以堂食嘛。 北京哪个区可以堂食吗 北方冬天种植豆角可以吗 北方冬天能种植豆角么 豆角种植时间和方法如何种植豆角以及时间 工伤赔偿不合理,已经签字怎么办? 怎样申请去英国留学? 宝马3系求救,发动机故障灯又亮黄灯了,检测是前面2号氧传感器故障 宝马3系E90氧传感器故障,求助各位大神,林总还在吗? 湖北省荆州市沙市区的工94届毕业证是什么样的 手上的穴位 顺丰广州同城多久到 考驾照的科目一是考什么? 想给小孩申请一个,请问可以用我的手机申请吗? 小学生怎么有自己 如何远程关闭激活锁 epega手柄ios epega手柄怎么样打开游戏映射 epega是什么牌子 400w的洗衣机的实际功率 电脑刷机刷了一会硬盘不行就没刷了,回到家开机黑屏的,按键会响,是怎么回事?刷机前电是好的,只是卡。 中兴U880手机经常刷机会刷坏硬盘? 盛夏未来郑宇星最后和谁在一起了 请问普通话一年能考几次 全国卷,高三如何做古诗,现代文阅读? 杨颖和谁在一起 Auto CAD不能复制粘贴该怎么办? 怎么将视频转成音频? 葱香奶油卷面包步骤 葱香奶油卷面包怎么做 vivo游戏分身不能登录怎么办