高级大数据开发工程师

主要岗位职责:

一、配合产品规划、完善数据产品功能、服务、业务流程;

二、负责数据仓库规划、设计、开发及各业务数据采集、清洗、整合、调度、优化等工作;

三、参与内部数据治理工作,包括元数据管理、数据质量管理、数据权限管理、制定数据开发规范等;

四、负责内部数据应用和工具的设计、开发、维护工作;

五、负责解决大数据集群和线上数据服务实际问题,保障大数据集群及应用安全、高效、稳定运行;

六、关注大数据前沿技术,规划大数据平台类产品架构,将大数据能力服务化输出,推动相应数据产品的研发和落地。

任职资格要求:

一、专业要求:计算机类、通信类、信息系统、数学等相关专业。

二、专业技能

1.熟悉Java、Scala、Python一种或者多种语言的开发;

2.熟悉基于Hadoop生态圈组件的工程开发,精通Hadoop、Spark、Hive、HBase、Flink、Kafka、ElasticSearch等主流的大数据技术,具有Java 和 Scala语言项目开发经验,熟悉python者优先;

3.对于海量数据的数仓建设(离线数仓、实时数仓)如架构设计、模型设计、数据服务、数据治理等有一定的认知和理解,具备大型数据仓库实施、数据中台开发经验;

4.熟悉掌握Mysql、Redis、Hive、Hbase 等数据库调优手段;

5.具备良好的学习能力、沟通能力和团队合作精神。

加分项:

1、有PB级数据治理经验;

2、有个性化推荐引擎的设计开发实践经验,熟悉spark mllib开发;

三、工作经验

8年以上相关工作经验,统招全日制本科及以上学历。

公司地点:广州黄埔区中国联通软件研究院广州分院一号楼

公司简介:

职位发布者:傅经理

中国联合网络通信有限公司广州软件研究院

融资阶段:

公司规模:

相似职位: