数据架构师(大模型应用领域)

岗位职责:

一、架构设计与规划

1、负责公司核心业务系统的数据架构设计,包括数据存储、处理、传输和安全的整体规划。

2、设计数据模型和加工生产逻辑、数据接入方式、数据标准及数据库表结构等,确保数据架构的合理性和可扩展性。

3、结合业务需求,规划数据架构的演进方向,确保技术架构能够支持复杂的数据处理需求。

二、数据平台建设与优化

1、搭建和维护公司核心业务系统的数据平台,包括数据仓库、数据湖等,确保平台的高可用性、高性能和高扩展性。

2、负责数据平台的架构规划和技术选型,推动数据平台的持续优化。

3、指导开发团队完成数据模型的构建、数据清洗、数据迁移等工作。

三、数据治理与质量提升

1、负责元数据管理、数据质量管理、数据标准管理等工作,确保数据的准确性和一致性。

2、发现并解决数据质量问题,推动整体数据质量的提升。

四、技术研究与应用

1、深入研究大数据相关技术和产品,跟进业界先进技术,引入适合公司业务应用的创新技术。

2、参与开发创新应用场景中的数据存储、分析查询及大数据系统管理维护。

五、团队协作与知识共享

1、与数据分析师、业务团队紧密合作,理解业务需求并转化为技术解决方案。

2、指导团队成员进行技术实践,提升团队整体技术水平。

任职资格:

一、教育背景

本科及以上学历,计算机科学、数据科学、统计学或相关领域本科及以上学历。

二、工作经验

1、5年以上大数据架构设计经验,有大型项目经验者优先。

2、熟悉数据仓库、数据湖等数据存储解决方案,具备丰富的大规模数据处理和优化经验。

三、专业知识

1、精通Hadoop、Spark、Hive、Kafka、Flink等大数据技术栈。

2、熟练掌握数据建模方法及数据治理方法论,具备丰富的数据仓库建模及ETL设计开发经验。

3、熟悉数据治理相关体系和方法,包括元数据管理、数据质量管理等。

4、熟练掌握至少一种编程语言,如Java、Python、Scala等。

四、能力要求:

1、具备良好的逻辑思维能力、数据敏感度和问题解决能力。

2、具有较强的沟通协调能力,能够带领团队完成复杂项目。

3、对新技术有浓厚兴趣,学习能力强,能够快速适应技术变化。

4、具备较强的抗压能力,能够适应一定频率的出差与加班,满足工作中的紧急任务需求。

公司地点:上海杨浦区上海城建数字产业集团有限公司A座5楼

公司简介:

职位发布者:黄女士

上海城建数字产业集团有限公司

融资阶段:

公司规模:

相似职位: