Hadoop MapReduce优化和资源调度器
发布网友
发布时间：2022-12-24 13:10
共1个回答
热心网友
时间：2023-08-16 04:49
将所有应用程序放入到一个队列中
局限性
所有资源按照比例划分到不同的队列
每个队列可以实现单独的调度策略
优点
调度器
CapacityScheler
在yarn-site.xml 设置使用CapacityScheler调度器
在Hadoop配置文件目录下/usr/local/hadoop/etc/hadoop创建capacity-scheler.xml,添加信息如下：
配置说明
FairScheler
公平调度器的目的:
FairScheler配置方法
在Hadoop配置目录下/usr/local/hadoop/etc/hadoop yarn-site.xml 增加如下信息：
新建一个公平调度配置文件fair-scheler.xml ，信息如下：
上述配置以 data_bi 用户名作为公平调度的队列名称。
yarn-site.xml参数说明
fair-scheler.xml参数说明
将所有应用程序放入到一个队列中
所有资源按照比例划分到不同的队列
每个队列可以实现单独的调度策略
优点
调度器
CapacityScheler
在yarn-site.xml 设置使用CapacityScheler调度器
在Hadoop配置文件目录下/usr/local/hadoop/etc/hadoop创建capacity-scheler.xml,添加信息如下：
配置说明
FairScheler
公平调度器的目的:
FairScheler配置方法
在Hadoop配置目录下/usr/local/hadoop/etc/hadoop yarn-site.xml 增加如下信息：
新建一个公平调度配置文件fair-scheler.xml ，信息如下：
上述配置以 data_bi 用户名作为公平调度的队列名称。
yarn-site.xml参数说明
fair-scheler.xml参数说明
如果Hadoop启动时，2个名称节点均无法启动，且namenode日志出现如下错误：
是由于使用了root曾启动过hadoop HDFS，因此hadoop用户没有权限访问此文件，因此可以采用以下操作进行恢复。
