岗位职责:
1、基于政府业务场景需求的政务数据开发,参与离线数仓和实时数仓开发,基于大数据平台的开发项目实施包括如数据仓库、报表、BI等;
2、深入理解大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长,负责基于大数据平台的规划、部署、管理和优化,保障平台稳定可靠高效运行;
3、负责数据仓库脚本任务及数据迁移工作,确保数据完整性和一致性;
4、结合AI开发工具,优化迭代数据治理方法和数据治理流程,提升开发效率;
5、配合运维人员对大数据平台进行日常运维,对运维工作提供优化建议。
任职要求:
1、大学本科及以上学历,计算机、软件工程、数理统计等相关专业;
2、5年以上工作经验、大数据平台相关运维、架构优化经验;
3、熟悉MPP分布式、Hadoop、HDFS、Spark、HBase、Hive、Zookeeper、Kafka等开源组件,有生产环境运维和优化经验;
4、独立排错能力,精通SQL,能运用SQL处理复杂业务逻辑;
5、熟练使用linux,熟练掌握Java、python、shell中至少一门编程语言,并具有一定开发经验者优先;
6、良好的团队合作精神,能够与跨职能团队有效沟通。具备需求理解能力,进行有效地需求分析和管理;
7、熟练使用DeepSeek 等AI工具辅助开发,提升代码效率与创新思路。