某电商双11数据分析与预测为什么会用到hive,可不可以直接用Hadoop?

发布网友发布时间：2022-04-29 13:17

共2个回答

热心网友时间：2022-04-14 01:10

首先明确Hive和Hadoop两者的关系：
1、Hadoop是一种用于存储、读取以及处理海量数据的技术。你可以将他等价理解为个人PC的文件系统，只不过它能够承载远比一两块硬盘所能储存的多得多的数据；
2、Hive是一种构建在Hadoop之上的工具，它通过书写SQL语句的方式部分实现了Hadoop的功能，也就是说，所有Hive具备的能力，Hadoop都有，只不过Hive提供了一套描述工具，让你用可读性更强、更通用的方式描述你想解决的问题，然后由Hive将其转换成Hadoop的底层逻辑，最终解决问题。
所以，你问的问题也就不言自明了，当然可以直接基于Hadoop，使用Java、Python等语言直接编写MapRece的处理过程；但是，常规的数据分析如果使用Hive，可能只需要若干Select查询语句即可完成，若编写代码完成，可能需要安装配置本地IDE、完成相关代码库的依赖、MapRece完整逻辑的实现、任务的提交、计算结果的获取等等一系列庞杂的细节。两厢对比，我认为虽然理论上可以直接用Hadoop，但是在真实业务场景下，就是不能用的。
希望我说明白了~

热心网友时间：2022-04-14 02:28

某垫上双十一数据分析预测为什么会用到不可以用的，直接用了数据分析是从哪里来的？追问答案能专业一点嘛😂