问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

大数据应用工程师是做什么的?

发布网友 发布时间:2022-04-21 19:09

我来回答

4个回答

热心网友 时间:2022-07-12 20:38

总结一句话就是 写 SQL (很多入职一两年的大数据工程师主要的工作就是写 SQL )
还有其他的

2 为集群搭大数据环境(一般公司招大数据工程师环境都已经搭好了,公司内部会有现成的大数据平台,但我这边会私下搞一套测试环境,毕竟公司内部的大数据系统权限*很多,严重影响开发效率)

3 维护大数据平台(这个应该是每个大数据工程师都做过的工作,或多或少会承担“运维”的工作)

4 数据迁移(有部分公司需要把数据从传统的数据库 Oracle、MySQL 等数据迁移到大数据集群中,这个是比较繁琐的工作,吃力不讨好)

5 应用迁移(有部分公司需要把应用从传统的数据库 Oracle、MySQL 等数据库的存储过程程序或者SQL脚本迁移到大数据平台上,这个过程也是非常繁琐的工作,无聊,高度重复且麻烦,吃力不讨好)

6 数据采集(采集日志数据、文件数据、接口数据,这个涉及到各种格式的转换,一般用得比较多的是 Flume 和 Logstash)

7 数据处理
7.1 离线数据处理(这个一般就是写写 SQL 然后扔到 Hive 中跑,其实和第一点有点重复了)
7.2 实时数据处理(这个涉及到消息队列,Kafka,Spark,Flink 这些,组件,一般就是 Flume 采集到数据发给 Kafka 然后 Spark 消费 Kafka 的数据进行处理)

8 数据可视化(这个我司是用 Spring Boot 连接后台数据与前端,前端用自己魔改的 echarts)

9 大数据平台开发(偏Java方向的,大概就是把开源的组件整合起来整成一个可用的大数据平台这样,常见的是各种难用的 PaaS 平台)

10 数据中台开发(中台需要支持接入各种数据源,把各种数据源清洗转换为可用的数据,然后再基于原始数据搭建起宽表层,一般为了节省开发成本和服务器资源,都是基于宽表层查询出业务数据)

11 搭建数据仓库(这里的数据仓库的搭建不是指 Hive ,Hive 是搭建数仓的工具,数仓搭建一般会分为三层 ODS、DW、DM 层,其中DW是最重要的,它又可以分为DWD,DWM,DWS,这个层级只是逻辑上的概念,类似于把表名按照层级区分开来的操作,分层的目的是防止开发数据应用的时候直接访问底层数据,可以减少资源,注意,减少资源开销是减少 内存 和 CPU 的开销,分层后磁盘占用会大大增加,磁盘不值钱所以没什么关系,分层可以使数据表的逻辑更加清晰,方便进一步的开发操作,如果分层没有做好会导致逻辑混乱,新来的员工难以接手业务,提高公司的运营成本,还有这个建数仓也分为建离线和实时的)

总之就是离不开写 SQL ...

热心网友 时间:2022-07-12 20:38

首先,必须要肯定的一点是:大数据技术与应用专业或相关专业就业前景相当广阔。
原因是:近几年来,互联网行业发展风起云涌,而移动互联网、电子商务、物联网以及社交媒体的快速发展更促使我们快速进入了大数据时代。截止到目前,人们日常生活中的数据量已经从TB(1024GB=1TB)级别一跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别,数据将逐渐成为重要的生产因素,人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。大数据时代,专业的大数据人才必将成为人才市场上的香饽饽。
因此,当下大数据从业人员的两个主要趋势是:1、大数据领域从业人员的薪资将继续增长;2、大数据人才供不应求。
另外,大数据专业毕业生就业岗位非常多,比如:Java大数据分布式程序开发、大数据集成平台的应用与开发、大数据平台运维、Java海量数据分布式编程、大数据架构设计、大数据分析、Java大数据分布式开发、基于大数据平台的程序开发、数据可视化、大数据挖掘、Java海量数据分布式编程、大数据架构设计等。

热心网友 时间:2022-07-12 20:39

主要是围绕数据进行工作的,统计、分析、优化等

热心网友 时间:2022-07-12 20:39

主要是分析历史、预测未来、优化选择等等
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
国外留学有用吗 花钱出国留学有用吗 !这叫什么号 百万医疗赔付后是否可以续保 前一年理赔过医疗险还能续保吗? 医疗住院险理赔后还能购买吗? 女生多大后可以不在长身高? 如何不用软件把手机投屏到电脑上手机屏幕怎样投放到电脑上 战时拒绝、故意延误军事订货罪既遂的处罚? 战时故意延误军事订货罪处罚标准 应用工程师是开发软件的吗? 什么叫应用工程师,产品工程师 应用工程师是不是工程师 创见(Transcend) 340系列 256G SATA3 固态硬盘这个牌子的可以吗 iphoneXmax屏幕摔碎了怎么办呢? iPhonex前后屏幕和后壳都碎了维修要多少钱? 电动车什么时间开始电池BTM修复最好,现在车已经7... 海员的BTM(bridge team management)证书现在都哪... 富滇银行存折怎么在btm机上取款 各种公链游戏在交易所的代币名称和合约 BTM什么时候在火币Global上线充提? iphonex屏幕碎了怎么处理比较好呢? 在imtoken里的BTM怎么提现到交易所? btm还能涨到1元吗 比特币矿机能挖BTM吗 送外卖可以兼职吗? 外卖可以进小区吗 送外卖可以月入过万吗? 外卖可以兼职送吗 消毒指的是 应用工程师的介绍 应用工程师就业指导方法有哪些? CAD应用工程师和高级应用工程师的区别 建筑工业化应用工程师这个证书含金量高吗? 数字化应用工程师具体是做什么的? 计算机应用工程师证有什么用? 网络应用工程师有什么用?和网络工程师有什么区别... 现场应用工程师和技术支持工程师区别 应用工程师的应用工程师 在外企中,同属销售部的 产品应用工程师和销售工程... vivoy97多大尺寸? vivo Y97换屏需要多少钱? vivoy97手机内屏维修大概多少钱 vivoy97 内外屏烂掉修要多少钱? vivoy97内屏坏了修一下要多少钱,坏的程度就就是想... vivoy97屏幕刷新率是多少hz vivoy97换外屏多少钱 vivoy97屏幕刷新率多少hz vivoy97手机屏屏幕上出现竖条维修需要多少钱? vivoy97全部屏幕全部失灵怎么办?