架构师(spark方向)是什么职位

发布网友发布时间：2022-04-23 06:18

共1个回答

热心网友时间：2023-10-04 13:08

大数据架构师，最起码要熟悉Hadoop、 Spark 、Storm等等主流大数据平台的核心框架，而且要深入掌握如何编写MapRece、Yarn、 HBase、 Hive、 pig 等等重要组件，能够实现对平台的监控。辅助运维护系统的开发。
需要对面向过程，面向对象，面向服务等设计理念要有深刻的理解，可以做到快速的察觉出现实中的问题并提出相应的改进方案。
spark方面需要：
精通Spark Streaming，对Spark有源码修改能力；
精通Spark性能调优，打造高可伸缩的数据处理程序；
精通Spark监控，包括任务和系统级别...

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com