大数据开发

岗位职责:

1.负责研发对标阿里云dataworks、dataphin大数据平台架构设计和技术实现;

2.负责海量数据处理、存储及统一调度模块,熟悉海豚dolphinScheduler优先;

3.负责数据分析模型开发;

4.负责制定大数据平台技术规范及标准,为应用设计、开发、部署提供指导;

5.建设一站式大数据开发平台;

6.负责与后端配合实现高性能的查询及可视化展示。

任职要求:

1.本科及以上学历,计算机相关专业毕业;

2.3-5年以上大数据平台架构经验,3个以上大型大数据平台项目开发实施经验;

3.精通主流大数据技术和数据处理架构,熟悉Hadoop、Spark、Flink、Hive、Hbase、StarRocks、TiDB等大数据组件;

4.有海量数据处理经验,精通数据全链路(数据集成、存储、计算、应用、输出)关键技术节点和建设;

5.对一站式数据开发平台有建设经验或者熟悉主要构成和建设方案;

6.精通Clickhouse、ElasticSearch、starrocks等数据库,可熟练使用物化视图及高性能SQL编写;

7.有较强的编程开发能力,熟悉Java、Python、Shell6,有实际的数据治理经验和治理方法论;

8.有多云架构下的大数据平台搭建经验优先;

9.有海量数据迁移经验优先。

公司地点:北京丰台区汉威国际广场4区3号楼9M

公司简介:

职位发布者:郝女士

南威软件股份有限公司

融资阶段:

公司规模:1000~9999人

相似职位: