岗位职责:
负责离线和实时大数据平台架构设计、技术选型、搭建、开发、管理、监控和性能调优,保证集群高效稳定运行,有效支撑数据应用
负责大数据相关技术发展方向的预研,助力业务成长
对客户的业务场景及问题进行深度挖掘分析,设计数据分析应用;
负责大数据平台的数据处理流程开发,包括数据清洗、整合、统计、挖掘、分发等;
任职要求:
5年及以上业务数据或数据基础设施领域工作经验,3年及以上SaaS领域数据架构经验;
掌握或精通Spark,Hive,Flink,starrocks等大数据开源组件的实现原理,有离线和实时大数据技术应用或大数据平台上的数据架构实践经验;
熟悉数据仓库模型的设计,分层设计原理;掌握或精通常见数据仓库技术或系统架构,有数据仓库上的数据架构实践经验;
熟练使用主流数据库MySql等,精通SQL的编写及调优,能够独立编写函数、存储过程、触发器等数据开发经验;
具备优秀的业务分析能力,能够独立完成复杂业务系统领域抽象、建模和架构设计;
具备较强的自我学习能力、有较强分析问题的能力、人际沟通能力、团队协作能力和工作责任感;
具有实时数据处理相关经验优先
掌握python开发优先