大数据是学什么的,工作干什么
发布网友
发布时间：2022-03-27 15:44
共3个回答
热心网友
时间：2022-03-27 17:14
基础阶段：Linux、Docker、MySQL基础、Oracle基础、MongoDB、redis。
hadoop maprece hadoop，HDFS工作原理，YARN介绍及组件介绍。
大数据存储阶段：hbase、hive、sqoop。
大数据架构设计阶段：Flume分布式、Zookeeper、Kafka。
大数据实时计算阶段：Mahout、Spark、storm。
大数据数据采集阶段：Python、Scala。
数据分析：python(含numpy，pandas等)，R，Matlab（选一个即可）
实战阶段：(若选择python)，机器学习及sklearn使用，深度学习及tensorflow, keras, pytorch等框架使用；
大数据商业实战阶段：实操企业大数据处理业务场景，分析需求、解决方案实施，综合技术实战应用。
二、工作岗位有
1、Hadoop开发工程师
Hadoop是一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。Hadoop是一个能够对大量数据进行分布式处理的软件框架， 以一种可靠、高效、可伸缩的方式进行数据处理。所以说Hadoop解决了大数据如何存储的问题，因而在大数据培训机构中是必须学习的课程。
2、数据分析师
数据分析师是数据师的一种，指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具，提取、分析、呈现数据，实现数据的商业意义。
3、数据挖掘工程师
做数据挖掘要从海量数据中发现规律，这就需要一定的数学知识，最基本的比如线性代数、高等代数、凸优化、概率论等。
4、大数据可视化工程师
随着大数据在人们工作及日常生活中的应用，大数据可视化也改变着人类的对信息的阅读和理解方式。从百度迁徙到谷歌流感趋势，再到阿里云推出县域经济可视化产品，大数据技术和大数据可视化都是幕后的英雄。
热心网友
时间：2022-03-27 18:32
热心网友
时间：2022-03-27 20:06
主要工作任务：
大数据采集（爬虫）、大数据清洗（ETl工程师）、大数据建模（算法工程师）与大数据分析（数据分析员）；
管理、分析展现及应用等技术（大数据开发工程师）；
研究、应用大数据平台体系架构、技术和标准；
设计、开发、集成、测试大数据软硬件系统；
管理、维护并保障大数据系统稳定运行；
监控、管理和保障大数据安全；
提供大数据的技术咨询和技术服务。
