岗位职责:
1.负责研发对标阿里云dataworks、dataphin大数据平台架构设计和技术实现;
2.负责海量数据处理、存储及统一调度模块,熟悉海豚dolphinScheduler优先;
3.负责数据分析模型开发;
4.负责制定大数据平台技术规范及标准,为应用设计、开发、部署提供指导;
5.建设一站式大数据开发平台;
6.负责与后端配合实现高性能的查询及可视化展示。
任职要求:
1.本科及以上学历,计算机相关专业毕业;
2.3-5年以上大数据平台架构经验,3个以上大型大数据平台项目开发实施经验;
3.精通主流大数据技术和数据处理架构,熟悉Hadoop、Spark、Flink、Hive、Hbase、StarRocks、TiDB等大数据组件;
4.有海量数据处理经验,精通数据全链路(数据集成、存储、计算、应用、输出)关键技术节点和建设;
5.对一站式数据开发平台有建设经验或者熟悉主要构成和建设方案;
6.精通Clickhouse、ElasticSearch、starrocks等数据库,可熟练使用物化视图及高性能SQL编写;
7.有较强的编程开发能力,熟悉Java、Python、Shell6,有实际的数据治理经验和治理方法论;
8.有多云架构下的大数据平台搭建经验优先;
9.有海量数据迁移经验优先。