职责描述
1.负责大数据团队的管理,以及基础架构相关组件的开发、维护和优化
2.负责分布式存储、计算、执行引擎、数据开发治理平台等研发工作
3.确定大数据架构的整体技术路线和架构走向,新技术的调研和落地。
4.负责Hadoop(HDFS/YARN),Spark,Hive、Presto、HBase、Flink、OLAP
5.负责自研调度平台、类dataworks 开发治理平台、adhoc 即席查询平台、实时计算平台、数据资产平台、云原生大数据平台架构构建(计算存储架构分离、云原生架构、大数据容器化、离线在线混布、错峰调度等)的设计研发、配置调优、监控管理,应急响应、bugfix、内核源码改造、问题处理等。
6.负责集群治理、包括任务治理、数据治理、平台治理等。
任职要求:
1.熟练掌握Java/Scala/C++一种或者多种语言、熟悉大数据分布式系统、能独立解决技术问题,5年以上开发经验
2.熟悉Hadoop生态圈及YARN 、HDFS、Spark、Flink、Hive、Presto、K8S、或者开发过类Dataworks 数据开发治理平台等一项或者多项使用、调优、规划、源码修改;
3.熟悉Linux,熟悉Shell命令操作,执行安装部署程序及简单运维。
4.具备主人翁精神和团队精神、良好的沟通协调能力,良好的团队管理能力,有责任感、较强的推动执行能力。
5.向开源社区贡献过 patch 者优先。
6.有大数据云原生经验者优先
岗位职责:
任职要求: