大数据处理要遵循什么流程?
发布网友
发布时间：2022-03-25 11:22
共2个回答
热心网友
时间：2022-03-25 12:51
数据治理流程是从数据规划、数据采集、数据储存管理到数据应用整个流程的无序到有序的过程，也是标准化流程的构建过程。
根据每一个过程的特点，我们可以将数据治理流程总结为四个字，即“理”、“采”、“存”、“用”。
1.理：梳理业务流程，规划数据资源
对于企业来说，每天的实时数据都会超过TB级别，需要采集用户的哪些数据，这么多的数据放在哪里，如何放，以什么样的方式放？
这些问题都是需要事先进行规划的，需要有一套从无序变为有序的流程，这个过程需要跨部门的协作，包括了前端、后端、数据工程师、数据分析师、项目经理等角色的参与。
2.采：ETL采集、去重、脱敏、转换、关联、去除异常值
前后端将采集到的数据给到数据部门，数据部门通过ETL工具将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程，目的是将散落和零乱的数据集中存储起来。
3.存：大数据高性能存储及管理
这么多的业务数据存在哪里？这需要有一高性能的大数据存储系统，在这套系统里面将数据进行分门别类放到其对应的库里面，为后续的管理及使用提供最大的便利。
4.用：即时查询、报表监控、智能分析、模型预测
数据的最终目的就是辅助业务进行决策，前面的几个流程都是为最终的查询、分析、监控做铺垫。
这个阶段就是数据分析师的主场，分析师们运用这些标准化的数据可以进行即时的查询、指标体系和报表体系的建立、业务问题的分析，甚至是模型的预测。
热心网友
时间：2022-03-25 14:09
定义：利用多种轻型数据库来接收发自客户端的数据，并且用户可以通过这些数据库来进行简略的查询和处理工作。
特色和应战：并发系数高。
运用的产品：MySQL，Oracle，HBase，Redis和 MongoDB等，并且这些产品的特色各不相同。
2、学会统计分析
定义：将海量的来自前端的数据快速导入到一个集中的大型分布式数据库 或者分布式存储集群，利用分布式技术来对存储于其内的集中的海量数据
进行普通的查询和分类汇总等，以此满足大多数常见的剖析需求。
特色和应战：导入数据量大，查询涉及的数据量大，查询恳求多。
运用的产品：InfoBright，Hadoop(Pig和Hive)，YunTable， SAP Hana和Oracle
Exadata，除Hadoop以做离线剖析为主之外，其他产品可做实时剖析。
3、进行发掘数据
定义：基于前面的查询数据进行数据发掘，来满足高档其他数据剖析需求。
特色和应战：算法复杂，并且计算涉及的数据量和计算量都大。
运用的产品：R，Hadoop Mahout
