工作内容:
1.负责大数据平台的架构设计、开发和优化,构建数据湖仓,支持高性能的分析与查询;
2.根据自动驾驶领域的业务需求,设计并搭建高效、灵活的数据湖仓,包括数据建模、ETL开发和数据导入;
3.参与海量传感器数据、行驶轨迹数据和仿真测试数据的清洗、存储、分析与优化,为自动驾驶算法和决策系统提供可靠数据支持;
4.负责大数据相关技术栈(如Kafka、Flink、Spark等)的集成开发,优化数据处理和实时计算能力;
5.设计并实现自动化数据处理流水线,支持多源异构数据的高效接入与处理;
6.推动数据平台性能优化,包括查询性能、存储效率和扩展性,确保应对PB级别数据规模;
7.编写技术文档,参与技术评审与团队知识分享,推动团队技术能力持续提升;
8.持续跟进大数据及自动驾驶领域的前沿技术,提出创新性解决方案。
任职要求:
1.计算机、软件工程或相关专业本科及以上学历,3年以上大数据开发经验;
2.精通数据仓库设计和数据建模,熟悉OLAP引擎在大数据分析场景中的应用;
3.熟练掌握ETL开发,擅长处理复杂数据流转场景,确保数据质量和一致性;
4.熟悉主流大数据技术栈(如Kafka、Spark、Flink等),有性能调优经验;
5.熟练使用Java、Scala或Python进行大数据开发,具备良好的代码风格和开发习惯;
6.对自动驾驶领域的数据特性有深入理解,熟悉传感器数据、轨迹数据的处理流程优先;
7.具备优秀的团队协作和沟通能力,能够主动解决复杂问题;
8.了解机器学习基础,熟悉TensorFlow、PyTorch等框架者优先;
有云平台(如AWS、Azure、阿里云等)的分布式数据处理经验者优先。