什么是MapReduce？
发布网友
发布时间：2022-03-23 00:27
我来回答
共2个回答
懂视网
时间：2022-03-23 04:49
mapreduce工作原理为：MapReduce是一种编程模型，用于大规模数据集的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。
MapReduce就是”任务的分解与结果的汇总”，它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。
热心网友
时间：2022-03-23 01:57
概念"Map（映射）"和"Rece（化简）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Rece（化简）函数，用来保证所有映射的键值对中的每一个共享相同的键组。 映射和化简 简单说来，一个映射函数就是对一些独立元素组成的概念上的列表（例如，一个测试成绩的列表）的每一个元素进行指定的操作（比如前面的例子里，有人发现所有学生的成绩都被高估了一分，他可以定义一个“减一”的映射函数，用来修正这个错误。）。事实上，每个元素都是被独立操作的，而原始列表没有被更改，因为这里创建了一个新的列表来保存新的答案。这就是说，Map操作是可以高度并行的，这对高性能要求的应用以及并行计算领域的需求非常有用。 而化简操作指的是对一个列表的元素进行适当的合并（继续看前面的例子，如果有人想知道班级的平均分该怎么做？他可以定义一个化简函数，通过让列表中的元素跟自己的相邻的元素相加的方式把列表减半，如此递归运算直到列表只剩下一个元素，然后用这个元素除以人数，就得到了平均分。）。虽然他不如映射函数那么并行，但是因为化简总是有一个简单的答案，大规模的运算相对独立，所以化简函数在高度并行环境下也很有用。编辑本段分布和可靠性 MapRece通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性；每个节点会周期性的把完成的工作和状态的更新报告回来。如果一个节点保持沉默超过一个预设的时间间隔，主节点（类同Google File System中的主服务器）记录下这个节点状态为死亡，并把分配给这个节点的数据发到别的节点。每个操作使用命名文件的原子操作以确保不会发生并行线程间的冲突；当文件被改名的时候，系统可能会把他们复制到任务名以外的另一个名字上去。（避免副作用）。 化简操作工作方式很类似，但是由于化简操作在并行能力较差，主节点会尽量把化简操作调度在一个节点上，或者离需要操作的数据尽可能近的节点上了；这个特性可以满足Google的需求，因为他们有足够的带宽，他们的内部网络没有那么多的机器。用途 在Google，MapRece用在非常广泛的应用程序中，包括“分布grep，分布排序，web连接图反转，每台机器的词矢量，web访问日志分析，反向索引构建，文档聚类，机器学习，基于统计的机器翻译...”值得注意的是，MapRece实现以后，它被用来重新生成Google的整个索引，并取代老的ad hoc程序去更新索引。 MapRece会生成大量的临时文件，为了提高效率，它利用Google文件系统来管理和访问这些文件。
mapreduce是什么意思
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是...
hadoop中的mapreduce是什么?
Hadoop中的MapReduce是一种编程模型，用于大规模数据集的处理和分析。MapReduce是Hadoop框架的核心组件之一，它是一种分布式计算模型，特别适合处理大规模数据集。MapReduce的名称来源于它的两个主要阶段：Map阶段和Reduce阶段。在Map阶段，框架将输入数据划分为若干个独立的小块，每块数据都由一个Map任务来处...
mapreduce工作原理
mapreduce工作原理为：MapReduce是一种编程模型，用于大规模数据集的并行运算。mapreduce工作原理为：MapReduce是一种编程模型，用于大规模数据集的并行运算。MapReduce采用”分而治之”的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最...
mapreduce与云计算是什么关系,恳请指教
MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是...
什么是Map/Reduce-Mapreduce-about云开发
(2)Mapreduce是一种编程模型，是一种编程方法，抽象理论。(3)下面是一个关于一个程序员是如何个妻子讲解什么是MapReduce？文章很长请耐心的看。我问妻子：“你真的想要弄懂什么是MapReduce？” 她很坚定的回答说“是的”。 因此我问道：我： 你是如何准备洋葱辣椒酱的？（以下并非准确食谱，请勿在家...
简述mapreduce工作原理
MapReduce是一种用于大规模数据处理的编程模型，其工作原理主要可以分为三个阶段：输入、处理和输出。一、输入阶段 在输入阶段，MapReduce会将大规模数据进行分割，使之成为较小的分片，以便于并行处理。每个分片作为一个单独的处理任务分配给一个Map任务。Map任务负责读取这些数据分片并对其进行初步处理。二...
mapreduce和spark的主要区别
MapReduce和Spark都是大数据处理技术，但它们的处理方式存在显著的差异。MapReduce是一个批处理系统，它处理数据的方式是通过将大数据集分割成小数据集，然后分别在集群的各个节点上进行处理，最后再合并结果。这种方式在处理大规模数据集时非常有效。相比之下，Spark是一个内存计算框架，它可以在内存中存储...
mapreduce和hbase的关系,哪些是正确的
MapReduce与HBase没有关系：MapReduce：MapReduce是一种编程模型，用于大规模数据集的并行运算。概念＂Map＂和＂Reduce＂，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。
能不能解释一下hadoop中的mapreduce
MapReduce是一种数据处理思想，最早由Google的Jeff Dean等人发明，论文公开后，由Yahoo!的Doug Cutting实现了开源版本的MapReduce实现，发展为后来的Hadoop Hadoop包含一个开源的MapReduce计算框架，和一个分布式文件系统：HDFS MapReduce的精髓是并行处理、移动程序比移动数据更划算 你如果只是做一些简单的统计...
hadoop三大核心组件是什么?
MapReduce是Hadoop生态系统中的分布式计算框架，用于处理大规模数据集。MapReduce将数据分成多个小块，将计算任务分配到多个节点上并行处理，最后将结果汇总输出。MapReduce框架可以自动管理任务的调度、容错、负载均衡等问题，使得Hadoop可以高效地运行大规模数据处理任务。YARN是Hadoop 2.0引入的新一代资源管理...
