职责描述
1、【引擎研发】负责Spark、Presto、Hive、StarRocks为基础的大数据组件的架构设计、运维部署,跟进社区版本,改进性能,提升稳定性,研发新功能,修复内核版本。
2、【业务支撑】负责排查、定位、解决生产集群问题,与SRE同事一起维护生产集群的稳定性,协助业务方一起使用好大数据集群。
3、【架构规划】参与规划公司计算平台的技术演进,提升计算效率,打造稳定,高性能,低成本的计算平台。
任职要求
1、【工程能力】扎实的计算机基础和算法结构功底,精通Java/Scala语言,如:并发编程和JVM,常见的设计模式,追求高标准的工程质量,具备优秀的debug能力。
2、【专业能力】在大数据离线计算领域2年以上研发经验,大数据领域5年以上研发经验,有研发过Spark/Presto/StarRocks分布式计算引擎的优先。
3、【综合能力】对技术有热情,愿意不断尝试新技术和业务挑战,具备Owner精神和团队精神,良好的协调能力,有责任感,结果导向,较强的执行落地能力。
4、【业务能力】需要对即席查询、自助分析、标签画像等场景有过架构设计、底层引擎支撑经验。
补充了即席查询、自助分析、标签画像等场景的经验。