岗位职责:
1、参与公司大数据管理平台及引擎组件优化的设计、开发、优化及升级等研发工作;
2、负责项目的技术方案制定与提交,调研与比较不同技术方案的优缺点,并根据实际条件选择合理的技术方案;
3、高质量完成项目的研发工作,组织项目组进行代码review;
4、发现项目组研发过程中出现的问题,并予以优化、解决,以提升研发效率和研发质量;
任职要求:
1、计算机或软件工程相关专业本科及以上学历,5年及以上开发经验;
2、扎实的计算机基础知识,对操作系统、网络、数据结构等有较为深入的理解;
3、扎实的编程基础,精通Java/Go一种或多种开发语言,熟练掌握JVM原理及调优,熟练掌握Web后端开发框架;
4、熟悉云原生技术,具备K8S容器化开发、调优能力,具有项目实践经验;
5、熟悉Hadoop大数据生态,有丰富的Hive/Spark/Flink/Flink CDC等引擎组件的稳定性和性能优化经验;
6、熟悉Paimon/Iceberg等数据湖技术,熟悉数据仓库/数据湖的技术选型,具有实时数据开发平台、实时湖仓一体平台的开发和架构经验;
7、具有云原生大数据项目落地经验,在Spark on K8S、Flink on K8S等方向有深入实践和优化经验;
8、熟悉分布式系统的设计和应用,数据库、缓存、消息队列、RPC框架等中间件技术,能够合理做出技术选型;
9、熟悉Linux操作系统,熟悉常用的运维工具和问题排查方法;
10、有CDH/CDP/Ambari等大数据管理平台的架构、开发、优化、运维经验者优先;(加分项)
11、具备良好的需求分析能力、业务和技术方案策划和设计能力;
12、善于排查解决复杂、困难的问题,并作出有效的短期、中长期解决方案;
13、能有效把控研发质量,全方位评估研发各环节可能出现的问题;
14、能够承担多个项目的技术管理与推进工作;