高级数据架构师

职责描述

1.负责大数据团队的管理,以及基础架构相关组件的开发、维护和优化

2.负责分布式存储、计算、执行引擎、数据开发治理平台等研发工作

3.确定大数据架构的整体技术路线和架构走向,新技术的调研和落地。

4.负责Hadoop(HDFS/YARN),Spark,Hive、Presto、HBase、Flink、OLAP

5.负责自研调度平台、类dataworks 开发治理平台、adhoc 即席查询平台、实时计算平台、数据资产平台、云原生大数据平台架构构建(计算存储架构分离、云原生架构、大数据容器化、离线在线混布、错峰调度等)的设计研发、配置调优、监控管理,应急响应、bugfix、内核源码改造、问题处理等。

6.负责集群治理、包括任务治理、数据治理、平台治理等。

任职要求:

1.熟练掌握Java/Scala/C++一种或者多种语言、熟悉大数据分布式系统、能独立解决技术问题,5年以上开发经验

2.熟悉Hadoop生态圈及YARN 、HDFS、Spark、Flink、Hive、Presto、K8S、或者开发过类Dataworks 数据开发治理平台等一项或者多项使用、调优、规划、源码修改;

3.熟悉Linux,熟悉Shell命令操作,执行安装部署程序及简单运维。

4.具备主人翁精神和团队精神、良好的沟通协调能力,良好的团队管理能力,有责任感、较强的推动执行能力。

5.向开源社区贡献过 patch 者优先。

6.有大数据云原生经验者优先

岗位职责:

任职要求:

公司地点:上海杨浦区光大安石中心T1座T1座8楼

公司简介:

职位发布者:陈先生

哪吒智慧科技(上海)股份有限公司

融资阶段:

公司规模:

相似职位: