数据开发工程师

【岗位职责】

1.负责项目的需求分析和技术方案设计以及数据开发和维护。

2.参与公司核心数据项目的设计、开发和维护,包括但不限于运营、营销、财务端需求;

3.参与建设统一的数据体系,持续集成相关工具产品,以及搭建大数据业务统一计算层等相关工作;

4.编写高效的ETL流程,实现数据的抽取、转换和加载;开发和优化数据处理算法,提高数据处理效率和准确性;

5.对数据采集、数据融合、数据质量、数据应用链路有深入理解,并能协助业务数据集市建设,搭建业务领域模型;

6.确保数据安全和隐私保护,实施相关的数据治理策略。

【任职要求】

1. 本科以上学历,计算机相关专业优先,5年以上数据开发工作经验;

2. 数据库技术:精通SQL,熟悉Starrock数据库和NoSQL数据库,能够进行复杂查询优化和数据库性能调优;

3.编程语言:熟练使用至少一种数据处理编程语言(如Python、Java、Scala),能够开发复杂的数据处理应用;

4.大数据技术:精通Hadoop生态系统,包括HDFS、MapReduce、Spark等,能够设计和优化大规模数据处理系统;

5.ETL和数据集成:熟练使用ETL工具,能够设计和实现复杂的数据集成流程,开发和维护数据集成平台;

6.数据建模和仓库:掌握数据仓库建模技术,能够设计和实现数据仓库、数据湖等架构;

7.实时数据处理:掌握实时数据处理技术(如Flink、Kafka Streams),能够设计和实现实时数据处理系统;

8.数据质量和治理:了解并能够实施数据质量管理和数据治理方案,确保数据的准确性和一致性;

9.高级分析和机器学习:了解机器学习基础,能够实现预测模型,掌握高级分析技术如时间序列分析、图数据处理等;

10.具备较强的的团队合作能力,有互联网或电商公司工作经验者优先。

公司地点:深圳龙岗区神舟电脑大厦万科城社区居里夫人大道神舟电脑大厦2楼西侧2-1

公司简介:

职位发布者:江先生

深圳市路特创新科技有限公司

融资阶段:

公司规模:

相似职位: