岗位职责
1、平台设计与开发
- 负责元数据管理平台的架构设计、核心模块开发及性能优化。
- 实现元数据的采集、存储、血缘分析、影响分析、数据目录等功能。
- 支持多数据源(数据库、API、文件等)的元数据自动化采集与同步。
2、数据治理与标准化
- 设计并实现元数据模型、分类体系及标准化规范(如符合DAMA、DCMM等标准)。
- 开发数据血缘追踪、数据质量监控、元数据变更审计等核心功能。
3、技术整合与协作
- 与数据仓库、大数据平台(如Hadoop、Spark)、数据湖(Delta Lake、Iceberg)等系统集成。
- 配合数据安全与质量团队,推动元数据在数据安全、数据质量等场景的应用。
4、前沿技术探索
- 探索AI驱动的元数据自动化分类与标签生成(如LLM应用)。
任职要求:
1、统招本科及以上学历,6年以上工作经验;
2、精通Java/Python/Scala至少一种语言,熟悉Spring Boot、Django等框架。
3、熟悉元数据管理核心概念(如血缘、术语表、数据目录)。
4、熟练使用关系型数据库(MySQL、PostgreSQL)和NoSQL(Elasticsearch、Neo4j)。 了解大数据生态(Hive、HDFS、Kafka)及数据湖技术。
5、较强的逻辑分析能力,能抽象复杂业务场景为元数据模型。
6、良好的跨团队沟通能力,推动元数据在业务中的落地。
7、有数据中台或企业级数据治理项目经验,参与过开源元数据项目贡献者优先考虑。