主要岗位职责:
一、配合产品规划、完善数据产品功能、服务、业务流程;
二、负责数据仓库规划、设计、开发及各业务数据采集、清洗、整合、调度、优化等工作;
三、参与内部数据治理工作,包括元数据管理、数据质量管理、数据权限管理、制定数据开发规范等;
四、负责内部数据应用和工具的设计、开发、维护工作;
五、负责解决大数据集群和线上数据服务实际问题,保障大数据集群及应用安全、高效、稳定运行;
六、关注大数据前沿技术,规划大数据平台类产品架构,将大数据能力服务化输出,推动相应数据产品的研发和落地。
任职资格要求:
一、专业要求:计算机类、通信类、信息系统、数学等相关专业。
二、专业技能
1.熟悉Java、Scala、Python一种或者多种语言的开发;
2.熟悉基于Hadoop生态圈组件的工程开发,精通Hadoop、Spark、Hive、HBase、Flink、Kafka、ElasticSearch等主流的大数据技术,具有Java 和 Scala语言项目开发经验,熟悉python者优先;
3.对于海量数据的数仓建设(离线数仓、实时数仓)如架构设计、模型设计、数据服务、数据治理等有一定的认知和理解,具备大型数据仓库实施、数据中台开发经验;
4.熟悉掌握Mysql、Redis、Hive、Hbase 等数据库调优手段;
5.具备良好的学习能力、沟通能力和团队合作精神。
加分项:
1、有PB级数据治理经验;
2、有个性化推荐引擎的设计开发实践经验,熟悉spark mllib开发;
三、工作经验
8年以上相关工作经验,统招全日制本科及以上学历。