大数据开发工程师

1、数据仓库和数据处理‌:负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发,理解业务需求,发挥数据价值‌。

2‌、数据服务开发‌:负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道,处理ETL过程,确保数据质量和准确性‌。

3、技术研究和应用‌:参与相关项目的数据需求的实现,设计和编码工作。参与开发过程中相关技术的研究和验证‌。

‌4、平台运维和质量管理‌:负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控,参与大数据平台的日常运维工作‌。

5、针对数据一致性、准确性、及时性,制定数据管理与治理机制,提升数据易用性、可用性及稳定性;

任职要求 :

1、本科及以上学历,计算机相关专业,3-5年以上数据开发经验;

2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发

3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先;

4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验;

5、熟悉java、scala、python等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发;

6、熟悉数据仓库原理,有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验;

7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案;

8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等,市场常见BI产品(superset、FineBI、神策数据)等相关组件者优先;

9、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。

公司地点:广州越秀区粤能大厦10楼

公司简介:

职位发布者:张经理

广州龙腾出行网络科技有限公司

融资阶段:

公司规模:100~499人

相似职位: