岗位职责:
1、负责大数据平台的整体规划,包括技术架构、研发体系和运维体系等,促进平台稳定高效运行,保障数据的质量和安全;
2、负责特征标签、数据采集存储分析、数据模型等数据系统的技术框架及各组件的选型、部署、优化和管理,提供各项数据服务的实践指导,并推动落地;
3、制定技术规范,带领开发团队不断优化各类大数据平台工具及计算引擎的稳定性、性能和易用性,包括核心ETL作业的优化,重难点问题的攻关解决等;
4、负责技术管理和人才培养,提升团队技术实力,提升团队凝聚力;
5、跟踪业内技术进展并应用于实践,推动业务的快速发展和高效迭代。
任职资格:
1、计算机及其相关专业,本科以上学历,7年及以上大数据平台研发和架构经验;
2、深刻理解计算机原理,精通主流Java开发框架,有良好的数据结构和算法基础;
3、有大型企业PB级大数据平台建设的实战经验,熟悉大数据生态圈主流平台组件的底层架构和技术原理,如Kafka/Spark/Flink/Hadoop/Doris/Hologres等;
4、熟悉基于大数据平台上的离线/实时数据仓库建设,包括数据模型设计、性能优化等,熟悉数据挖掘的常用方法和模型;
5、学习能力强,对产品有强烈的责任心,具备良好的沟通能力和优秀的团队协作能力;