大数据分析包含哪些相关的技术

发布网友 发布时间：2022-03-27 14:35

我来回答

共5个回答

热心网友 时间：2022-03-27 16:04

大数据本身做不了什么。我们通过大数据主要发现和处理一些问题！需要学习数理统计的知识！如回归，相关，建模等！追答主要应用于，关联，趋势，聚类，分类，回归，时序各领域。

营销，零售，医疗，安全等方面用的较多。

热心网友 时间：2022-03-27 17:22

大数据相关技术

第1阶段Java

第2阶段JavaEE核心

第3阶段Hadoop生态体系

第4阶段大数据spark生态体系

大数据学习路线

热心网友 时间：2022-03-27 18:57

Python、R、SAS等编程工具；对数据仓库需要了解可以去九道门做些实验项目；如果你觉得还是难，那就采用最基础的学习路径，直接买MYSQL关系型数据库的书看，随便到网上去找个免费的MYSQL课程听；；分布式存储HDOOP需要简单了解；云计算的技术作为了解就可以了；数据可视化不是很难，如果不要求特别美工的话，大家先理解图表，再研究研究仪表板，阿里云的Quich BI及DataV,百度的echarts都不错，主要是展示的业务结构需要规划；大数据技术:这个相对来说有些难度，如果是学数学统计类专业小伙伴就非常有优势了，其他专业的小伙伴也不用担心，毕竟工作后还可以继续学习，在工作中用的比较多的是聚类、关联、决策树、线性回归等，如果你不去做模型和算法工程师那么只需要会用就可以了，实在不行有专业的工具让我们用，阿里云的机器学习PAN是可以直接出结果的工具；。可以到天池大赛上去看一些案例，自己做做训练。但如果要成为大数据分析师的话就要时间沉定，或者让老师带你，像我就是进到决明后由老师带了半年，现在基本上已经能熟练的搞这一套了。

热心网友 时间：2022-03-27 20:48

想学习大数据技术，是不是首先要知道大数据技术有哪些呢？也好知道自己未来应该往哪个方向发展，应该重点学习哪些知识？

抽象而言，各种大数据技术无外乎分布式存储 + 并行计算。具体体现为各种分布式文件系统和建立在其上的并行运算框架。这些软件程序都部署在多个相互连通、统一管理的物理或虚拟运算节点之上，形成集群(cluster)。因此不妨说，云计算是大数据的基础。
下面介绍几种当前比较流行的大数据技术：
1.Hadoop
Hadoop无疑是当前很知名的大数据技术了。
2003年到2004年间，Google发布了关于GFS、MapRece和BigTable三篇技术论文(这几篇论文成为了后来云计算、大数据领域发展的重要基石)。当时一位因公司倒闭赋闲在家的程序员Doug Cutting根据前两篇论文，开发出了一个简化的山寨版GFS – HDFS,以及基于其的MapRece计算框架，这就是Hadoop当初的版本。后来Cutting被Yahoo雇佣，得以依赖Yahoo的资源改进Hadoop,并将其贡献给了Apache开源社区。
简单描述Hadoop原理：数据分布式存储，运算程序被发派到各个数据节点进行分别运算(Map)，再将各个节点的运算结果进行合并归一(Rece)，生成结果。相对于动辄TB级别的数据，计算程序一般在KB – MB的量级，这种移动计算不移动数据的设计节约了大量网络带宽和时间，并使得运算过程可以充分并行化。
在其诞生后的近10年里，Hadoop凭借其简单、易用、高效、免费、社区支持丰富等特征成为众多企业云计算、大数据实施的首选。
2.Storm
Hadoop虽好，却有其“死穴”.其一：它的运算模式是批处理。这对于许多有实时性要求的业务就无法做到很好的支持。因此，Twitter推出了他们自己的基于流的运算框架——Storm。不同于Hadoop一次性处理所有数据并得出统一结果的作业(job)，Storm对源源导入的数据流进行持续不断的处理，随时得出增量结果。
3.Spark
Hadoop的另一个致命弱点是：它的所有中间结果都需要进行硬盘存储，I/O消耗巨大，这就使得它很不适合多次迭代的运算。而大多数机器学习算法，恰恰要求大量迭代运算。
2010年开始，UC Berkeley AMP Lab开始研发分布式运算的中间过程全部内存存储的Spark框架，由此在迭代计算上大大提高了效率。也因此成为了Hadoop的强有力竞争者。
4.NoSQL 数据库
NoSQL数据库可以泛指非关系型数据库，不过一般用来指称那些建立在分布式文件系统(例如HDFS)之上，基于key-value对的数据管理系统。
相对于传统的关系型数据库，NoSQL数据库中存储的数据无需主键和严格定义的schema。于是，大量半结构化、非结构化数据可以在未经清洗的情况下直接进行存储。这一点满足了处理大量、高速、多样的大数据的需求。当前比较流行的NoSQL数据库有MongoDB,Redis,Cassandra,HBase等。
NoSQL并不是没有SQL,而是不仅仅有(not only)SQL的意思。为了兼容之前许多运行在关系型数据库上的业务逻辑，有很多在NoSQL数据库上运行SQL的工具涌现出来，典型的例如Hive和Pig,它们将用户的SQL语句转化成MapRece作业，在Hadoop上运行。
大数据产业已进入发展的“快车道”，急需大量优秀的大数据人才作为后盾。能够在大数据行业崛起的初期进入到这个行业当中来，才有机会成为时代的弄潮儿。

热心网友 时间：2022-03-27 22:56

1、编程语言：Python/R
2、数据库MySQL、MongoDB、Redis等

3、数据分析工具讲解、数值计算包、Pandas与数据库... 等
4、进阶：Matplotlib、时间序列分析/算法、机器学习... 等