hadoop 作业为什么使用虚拟内存
发布网友
发布时间：2022-04-24 05:15
共1个回答
热心网友
时间：2022-05-06 07:00
选项 类型 默认值 描述
mapred.rece.parallel.copies int 5 每个rece并行下载map结果的最大线程数
apred.rece.copy.backoff int 300 rece下载线程最大等待时间（in sec）
io.sort.factor int 10 同上
mapred.job.shuffle.input.buffer.percent float 0.7 用来缓存shuffle数据的rece task heap百分比
mapred.job.shuffle.merge.percent float 0.66 缓存的内存中多少百分比后开始做merge操作
mapred.job.rece.input.buffer.percent float 0.0 sort完成后rece计算阶段用来缓存数据的百分比
