大数据引擎工程师

岗位职责:

1、参与公司大数据管理平台及引擎组件优化的设计、开发、优化及升级等研发工作;

2、负责项目的技术方案制定与提交,调研与比较不同技术方案的优缺点,并根据实际条件选择合理的技术方案;

3、高质量完成项目的研发工作,组织项目组进行代码review;

4、发现项目组研发过程中出现的问题,并予以优化、解决,以提升研发效率和研发质量;

任职要求:

1、计算机或软件工程相关专业本科及以上学历,5年及以上开发经验;

2、扎实的计算机基础知识,对操作系统、网络、数据结构等有较为深入的理解;

3、扎实的编程基础,精通Java/Go一种或多种开发语言,熟练掌握JVM原理及调优,熟练掌握Web后端开发框架;

4、熟悉云原生技术,具备K8S容器化开发、调优能力,具有项目实践经验;

5、熟悉Hadoop大数据生态,有丰富的Hive/Spark/Flink/Flink CDC等引擎组件的稳定性和性能优化经验;

6、熟悉Paimon/Iceberg等数据湖技术,熟悉数据仓库/数据湖的技术选型,具有实时数据开发平台、实时湖仓一体平台的开发和架构经验;

7、具有云原生大数据项目落地经验,在Spark on K8S、Flink on K8S等方向有深入实践和优化经验;

8、熟悉分布式系统的设计和应用,数据库、缓存、消息队列、RPC框架等中间件技术,能够合理做出技术选型;

9、熟悉Linux操作系统,熟悉常用的运维工具和问题排查方法;

10、有CDH/CDP/Ambari等大数据管理平台的架构、开发、优化、运维经验者优先;(加分项)

11、具备良好的需求分析能力、业务和技术方案策划和设计能力;

12、善于排查解决复杂、困难的问题,并作出有效的短期、中长期解决方案;

13、能有效把控研发质量,全方位评估研发各环节可能出现的问题;

14、能够承担多个项目的技术管理与推进工作;

公司地点:杭州余杭区恒生科技园7号楼3楼

公司简介:

职位发布者:毛女士

浙江数新网络有限公司

融资阶段:

公司规模:20~99人

相似职位: