高级大数据平台工程师

岗位职责

1.设计并构建基于开源技术的大数据平台整体架构,融合湖仓一体化理念,实现数据的高效存储与管理,确保平台具备高可用性、可扩展性和高性能。

2.主导数据中台的独立研发工作,负责系统架构设计、技术选型和开发指导,实现数据资产的统一管理、数据服务的高效提供以及数据治理的有效实施。

3.主导大数据平台技术规划、技术选型、架构设计、技术演进并保障系统稳定以及时效要求

4.设计并搭建离线与实时数据仓库,优化数据 ETL/ELT 流程,保障数据的准确性、完整性和时效性,满足公司不同业务场景下的数据分析需求。

5.构建数据与 AI 的桥梁,设计数据架构和算法框架,为 AI 模型训练提供高质量的数据,助力 AI 应用在公司业务中的深度落地。

6.调研、评估和引入适合公司业务需求的开源大数据技术和工具,如 Hadoop、Spark、Flink、Kafka、Iceberg 、Dolphinscheduler等,持续优化平台技术栈。

7.与数据开发团队、AI 算法团队、业务部门紧密合作,提供技术指导和支持,确保大数据平台与业务需求紧密结合,推动项目的顺利实施。

8.负责大数据平台的性能优化和监控,及时发现并解决系统性能瓶颈和故障,保障平台稳定运行。

9.基于传统汽车行业相关业务场景,分析大数据架构领域的当前趋势并提供合理的建议

任职要求

1.计算机科学、软件工程等相关专业本科及以上学历。

2.8年以上大数据平台架构设计与开发经验,有成功搭建大数据平台的项目经验。

3.精通 Hadoop、Spark、Flink 、Hive、Kafka、Doris/SratRocks等开源大数据技术栈,熟悉其原理、架构和应用场景。

4.深入理解湖仓一体化架构,熟悉 Iceberg、Hudi 等湖仓一体存储格式和相关技术。

5.具备离线与实时数据仓库设计和开发经验,熟练掌握 ETL/ELT 工具和技术。

6.熟悉数据治理、元数据管理、数据质量、主数据管理技术

7.了解 AI 算法和模型,熟悉数据预处理、特征工程等技术,能够为 AI 应用提供数据支持。

8.熟练掌握至少一种编程语言,如 Java、Python、Scala 等。

9.具备良好的系统分析和设计能力,能够解决复杂的技术问题;具备优秀的团队协作和沟通能力,能够有效推动跨部门合作;具备较强的学习能力和创新意识,关注大数据技术发展趋势,不断探索新技术在公司业务中的应用。

公司地点:深圳坪山区比亚迪汽车工业有限公司坪山

公司简介:

比亚迪集团成立于1995年2月,经过20多年的高速发展,已在全球设立30多个工业园,实现全球六大洲的战略布局。比亚迪业务布局涵盖电子、汽车、新能源和轨道交通等领域,并在这些领域发挥着举足轻重的作用,从能源的获取、存储,再到应用,全方位构建零排放的新能源整体解决方案, 比亚迪是香港和深圳上市公司,营业额和总市值均超过千亿元。

比亚迪坚持自主创新,掌握电池、电机、电控及芯片等电动车全产业链核心技术,在2008年推出全球首款量产插电式双模电动车,在2010年提出全球首个公共交通电动化解决方案,之后上升为国家战略,形成全球共识,持续引领行业变革。截至2020年底,比亚迪电动车销量连续8年中国第一,已驶入全球50多个国家和地区、300多个城市,是首个进入欧、美、日等发达市场的中国汽车品牌。

职位发布者:董先生

比亚迪汽车工业有限公司

融资阶段:已上市

公司规模:10000人以上

相似职位: