岗位职责：
1.数据集成平台及任务开发
1.1.研发高并发、低延迟的数据集成平台，支持日均TB级数据的稳定处理，支持多种数据源，包括不限于Kafka、MySQL、Oracle、Doris、PG等。
1.2.开发数据质量监控工具，识别并修复数据断流、丢失、漂移等问题。
1.3.负责城市交通数据（视频、图像、轨迹、车速、流量、事件、事故、违法、互联网交通数据）的采集、清洗、存储与实时处理。
2.数据分析平台及数据处理任务开发
1.1.研发大数据流批处理引擎、数据处理开发和执行调度平台。
1.2.为AI团队提供高质量的数据集，支持事故预测、拥堵预测、辅助决策等场景。
1.3.交通指标（如路口通行效率、路段拥堵指数）的维度分层建模，以及数据计算的业务逻辑梳理、方案设计和开发。
3.跨团队协作
1.1.与算法工程师合作，完成数据的采集、清洗和转换。
1.2.与交管部门对接，理解业务需求并设计数据解决方案
岗位要求：
1.5年以上大数据开发经验，至少1个完整项目落地。
2.精通 Hadoop/Spark/Flink/StarRock 等开源框架及相关技术栈，对常见性能和系统稳定性问题有较多的解决经验，可以独立部署和运维相关的大数据平台组件。
3.熟练掌握主流的数据集成工具，对接集成过异构数据源，包括但不限于Mysql、Oracle、StarRock、Kafka等，有TB级数据集成和分析的开发经验。
4.熟练掌握数仓分层维度建模方法，并有丰富的数据开发经验，能设计高效简洁、易于扩展和维护的数据模型和分析框架。
有智慧交通领域大数据处理经验者优先。