问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

7.3MapReduce工作流程

发布网友 发布时间:2024-09-30 19:25

我来回答

1个回答

热心网友 时间:2024-10-16 02:17

(1) 初始阶段,InputFormat从HDFS读取数据并执行分片操作。
(2) 随后,每个分片启动一个map任务独立处理。
(3) map任务输出经过分区、排序、合并后,分发给所有rece节点,此过程称为shuffle。
(4) rece节点处理结果后写入HDFS。
map任务间不直接通信,rece间也不直接交换信息,均由MapRece框架处理。
详细分阶段说明如下:
InputFormat模块读取HDFS文件,并进行格式验证和分片。
记录阅读器(Record Reader)根据分片读取数据,输出key-value对。
用户自定义的map函数处理key-value,输出中间结果。
中间结果进行shuffle处理,包括分区、排序、合并,形成key-list[value]。
rece函数处理key-value,输出结果。
OutputFormat检查输出格式,并确保输出目录存在,然后将结果写入HDFS。
文件在HDFS中存储为多个block,每个block有多个副本。分片是对整个文件的处理,逻辑上合并block。
分片数量由用户定义,过多会消耗管理资源,理想情况下与block大小一致。
Map端Shuffle涉及缓存处理、分区、排序、合并,并在一定条件下写入磁盘。
Rece端Shuffle包括从多个Map任务接收数据、缓存处理、分区、排序、合并,并在达到条件时写入磁盘。
系统角度看,MapRece运行涉及部署、任务分配、处理、结果写入HDFS。
参考资料:
https://www.icourse163.org/learn/XMU-1002335004#/learn/content?type=detail&id=1214310152&sm=1
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
苹果什么软件看小说免费推荐一个苹果可以用的免费看小说app 苹果手机有没有一个全免费的书多的,能听的小说软件,下了好多,离线下载... 苹果手机小说免费软件苹果系统有什么免费看小说的软件 有哪些好用的听书软件? 苹果上听书软件苹果手机听书软件哪个好用而且免费 学UI设计下来要几个月 又要花费多少money?3Q 小米手机相册中已删除的图片恢复教程教你轻松找回误删的珍贵照片 小米照片回收站删除后如何找回快速恢复误删照片的方法与技巧_百度知 ... 小米手机误删照片找程教你简单几步找回误删照片 win10用摄像头 海贼王章节集数划分 “女儿,你就忍忍吧,不要赶你表妹走,我们欠你姨家一个大人情”凭什么啊... ...原来微信里还隐藏了定位功能,按一下就知道对方的具体位置,实用_百度... 农产品期货的投资特点 中国缺乏什么期货品种 不小心把不认识的朋友给群聊了,如何取消 谢谢! 不小心在微信里把两位朋友设成一个群了,怎样删除 这个月申请的王牌主播,已经生效了,但是看不到直播任务,是为什么呢? 为什么抖音直播间里看不见自己的级别? WM智能手机的软件都是微软公司开发的吗? 为什么手机微软系统软件那么少? ...而我的却是翘的?我试过了啫喱水也不行,该怎么弄平下来?? ...头顶会有头发竖出来,不贴头,我想贴头又蓬,怎么弄啊 ...头发就会这样翘起来,怎么办,用水弄过,但是一会儿又会翘起来,有什么... ...怎么梳也不行啊!好几天都是这个样子!! 可怎么办啊 睡觉起来发现自己的头发有一摄顽强的翘立起来,用梳子来梳也不管事,接... ...头发会翘起来,只有用水湿过后才会好,但水干了以后又翘了,怎么... 数学小论文五年级 五年级作文数学小论文2篇 2024年上海宠物展会时间表 郑州美博会2024时间表和地址 简述mapreduce工作原理 黄瓜菜怎么拌好吃黄瓜菜的拌法 怎么做黄瓜凉拌菜黄瓜凉拌菜做法介绍 类似守护甜心,小女神花玲,水果篮子之类的动画 ...部好看的外国动画,像《守护甜心》、《梦色糕点师》之类的人物可爱... ...爱丽丝学园、蔷薇少女、S.A特优生、梦色糕点师、金色琴弦吸血鬼骑士... 很喜欢《犬夜叉》《水果篮子》《守护甜心》请告诉我类似的日本动漫,十 ... 刘德华亲自监制+演指挥家+为插曲填词 《热血合唱团》曝海报 《热血合唱团》定档什么时候上映 《热血合唱团》讲述了什么故事_百度知 ... 求生之路2打了升级补丁后无法进入游戏。就是浩方点了启动或是其他exe... 为什么我在浩方平台进入求生之路2的房间 在进入游戏Loading时 就弹出一... 历史必修二两次工业革命对世界市场形成分别有什么影响 求生之路2怎么不能开。 进去之后直接弹出来个东西 全是英文的 求生之路2 每当启动浩方进游戏 跳出来就提示这个Setup file'gameinf... 华硕笔记本电脑如何查真伪? 青岛和大连哪个好玩 高龄如何备孕成功? 高龄妇女怎么备孕 联想笔记本v580c 怎么照相 联想 扬天 V580c-IFI(L/WIN8),15.6英寸屏幕,i5-3230M双核四线程,4G_百 ...