数据开发工程师

岗位职责:

"1、负责数据仓库脚本任务及数据的迁移工作,确保最终数据完整性和一致性。

2、使用 Hive SQL 进行数据查询操作,基于 Hadoop 大数据组件完成数据脚本部署、验证。

编写和维护数据搬迁相关的操作文档。

3、与业务团队和开发团队协作,确保数据搬迁项目按时交付。"

技术要求:

"1、数据仓库技术:熟悉数据仓库的设计、建模和优化,熟悉 ETL 流程。

2、大数据组件:熟悉Hadoop生态系统(如HDFS、YARN),了解 Spark、HBase、Kafka、Flink、ES、Clickhouse 等大数据组件的使用。

3、编程语言:精通 Hive SQL,能够编写复杂的查询语句;有一定 Python、Java 或 Scala 等编程语言的基础。"

任职要求:

"1、3-5年大数据相关工作经验,具备数据仓库、数据开发能力。

2、有大型数据仓库迁移项目经验者优先。"

公司地点:上海闵行区微创大厦1

公司简介:

上海微创软件股份有限公司2002年由微软与上海市政府共同创办,是微软在华投资的第一家合资公司。微创始终秉承高标准的服务品质与“成就客户”的服务理念,在全球设有20余处交付中心,分布在中国、美国、日本、澳大利亚,凭借在汽车、保险、高科技、金融、互联网等行业的深厚积累和丰富经验,与2500余家企业与政府客户达成了长期、稳定、友好的合作。

职位发布者:熊女士

上海微创软件股份有限公司

融资阶段:不需要融资

公司规模:10000人以上

相似职位: