大数据开发工程师

岗位职责:

1、负责数据仓库的设计、开发和优化工作;

2、负责数据平台和数据仓库开发建设,保证数据平台稳定可靠运行;

3、负责数据平台结构化数据和异构数据的规范化和数据清洗、关联、统计,构建公司级的数据中台,支持各类型数据项目;

4、根据业务部门数据分析需求进行数据相关的开发、加工、分析、实时计算,并持续跟进直至业务目标实现;

5、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;

6、良好的团队合作与沟通能力。

任职资格:

1、统招本科以上学历,计算机、软件工程相关专业,5年以上大数据应用开发经验;

2、熟悉Hadoop大数据生态圈,HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术,并有实际的项目开发经验,有相关源码研究者优先;

3、具备ETL开发与运维能力,有Flume、kettle经验优先;

4、熟悉Linux系统环境,有shell等脚本编写经验,熟悉Mysql、PostgreSql、Oracle等常用关系数据库,熟练编写SQL语句;

5、有数据抓取和解析经验,具备Java、Python、Scala其中两种语言的开发经验;

6、熟悉大数据平台的搭建过程,熟悉数据处理流程,有TB级以上数据处理经验优先,有实时数据处理经验者优先;

7、熟悉Yarn,Kubernetes,Azkaban等资源调度框架者优先;

8、掌握腾讯系DataWorks、MaxCompute、Flink、QuickBI 等大数据产品加分。

公司地点:东莞广东科技学院创业楼902

公司简介:

广东南博企业集团是由在教育、食品、投资等领域发展的多家企业和单位组成的综合性企业集团。教育领域包括高等教育、中职教育、基础教育、学前教育和培训等业务板块;食品领域包括农批市场、冷链仓储物流、屠宰加工、食品供应链等业务板块。

南博集团自创办以来就确立了“以人才为本、以制度为纲、以机制为魂”的发展方针,树立了“企业和员工共赢、经济效益与社会效益并重”的发展理念。

20多年来,南博集团紧紧抓住国家发展机遇,找准市场的刚性需求,不断优化组织架构和运作机制,突破阻碍企业发展的瓶颈,成为了基础扎实、实力雄厚、竞争力和可持续发展力凸显的多元化民营企业集团。

未来,南博集团将继续深耕粤港澳大湾区,艰苦奋斗,开拓进取,努力实现更好发展,为社会作出更大贡献。

企业官网:http://www.gdnanbo.com/

职位发布者:程先生

广东南博投资有限公司

融资阶段:不需要融资

公司规模:100~499人

相似职位: