大数据研发工程师-数据平台

团队介绍:

小鹏汽车自动驾驶的大数据方向,负责所有自动驾驶数据的云端处理,为自动驾驶业务提供高性能,高质量的数据加工,保证整个数据生产的稳定性,及时性,高可用。

工作职责:

1. 参与大数据平台的开发、测试和维护工作,确保系统稳定性和性能优化

2. 负责数据采集、清洗、转换和加载(ETL)流程的开发,处理多源异构数据

3. 协助设计和优化数据仓库模型,参与数据治理工作(如数据质量核查、元数据管理等)

4. 构建和维护车端信号数据仓库体系和数据指标体系,为算法和数据闭环提供框架支持,参与构建批流统一的数据分析平台

5. 支持百亿级自动驾驶感知和全栈数据的快速定位和分析参与平台架构规划, 负责前沿技术的跟踪研究,工具链的选型测试,解决、攻克数据平台的核心技术难题。

6. 建立监控和反馈指标,持续优化改进产品的架构及性能,保证PB级数仓的数据质量和平台稳定性。

职位要求

1. 本科及以上学历,计算机类相关专业,有不错的后端开发经验;

2. 优秀的编程和调试能力,精通至少一种主流编程语言, 如Java,Python,Go;

3. 熟悉大数据生态环境,掌握Hadoop,Hive,Kafka,Spark,Flink,Redis,ElasticSearch等大数据技术栈;

4. 对实时框驾有深入了解,在生产环境有TB级别Flink实时计算系统开发经验,深入掌握Flink DataStream、FlinkSQL、Flink Checkpoint、Flink State等模块,有Flink源码阅读经验优先;

5. 了解并且使用过StarRocks/Doris高性能OLAP查询系统

6. 熟悉Paimon/Iceberg等数据湖技术的实时湖仓构建,ACID事务支持、增量更新和Time Travel查询,了解小文件合并和Schema演化等问题的解决

7. 熟悉Linux系统及Shell脚本编写

8. 有快速学习能力,能快速理解业务背景,善于沟通,主动性强,有责任心,具备优秀的技术与业务结合能力。

加分项:

9. 有数据质量、元数据管理等相关数据组件的实际经验

10. 熟悉基于StarRocks/Doris开发高性能OLAP查询,设计物化视图和分区分桶策略提升查询效率

11. 熟悉数据仓库各类模型建模理论,了解数据仓库数据分层架构、维度模型设计

12. 有基于Docker、Kubernetes、微服务的应用开发设计经验优先;

13. 有自动驾驶或大型互联网公司相关从业经验优先

公司地点:广州天河区广州小鹏汽车科技有限公司天河办公大楼总部

公司简介:

小鹏汽车致力于通过探索科技,引领未来出行变革,做“未来出行探索者”。公司总部位于广州,在北京、上海、深圳、肇庆、扬州等地设有研发中心,并在肇庆布局智能制造基地。同时,小鹏汽车面向全球进行研发和销售布局,已在美国设立研发中心、在欧洲多地设立分公司。小鹏汽车坚持全栈自主研发智能辅助驾驶软件和开发核心硬件,为用户带来卓越的智能驾乘体验。2020年8月27日,小鹏汽车正式登陆纽交所,募资规模打破当时全球新能源汽车行业IPO纪录,股票代码为“NYSE:XPEV”;2021年7月7日,小鹏汽车挂牌香港联交所,股票代码“9868.HK”,成为首个在中国香港和美国纽约两地双重主要上市的中国造车新势力。欲了解更多信息,请访问https://xiaopeng.com/。

职位发布者:熊经理

广州小鹏汽车科技有限公司

融资阶段:

公司规模:1000~9999人

相似职位: