数据开发工程师

职位描述:

1.参与公司数据工具链平台的设计与开发,构建高效、可扩展的数据处理流水线(如ETL工具、数据同步服务、数据质量监控平台、元数据管理系统等)。

2.负责数据工具链核心组件的开发,包括数据集成(多源异构数据接入)、数据清洗、任务调度、血缘追踪、数据可视化等模块,提升数据研发效率与质量。

3.优化数据工具链的性能与稳定性,解决海量数据(TB/PB级)场景下的高吞吐、低延迟、资源调度等挑战。

4.与业务团队协作,抽象通用数据需求并工具化(如自动化数据建模、指标计算、报表生成),降低数据使用门槛。

5.推动数据治理能力落地(如数据血缘、质量规则、敏感数据识别),确保数据安全合规(如权限管控、脱敏加密)。

职位要求

1.专业背景:计算机科学、数据科学、信息管理等相关专业本科及以上学历。

2.3年以上数据治理、数据仓库或数据库管理经验,熟悉金融/互联网/泛AI领域数据场景优先。

3.精通SQL/Python,熟悉主流数据库(MySQL/Oracle/MongoDB等)及ETL工具(DataStage/Informatica等)。

4.具备数据治理工具(Collibra/Alation/Atlas)或数据中台建设经验者优先。

核心能力:

1.熟悉数据质量管理方法论(如DAMA),能独立设计数据质量规则与监控体系。

2.掌握数据安全法规(GDPR/CCPA等)及脱敏技术(动态脱敏/静态脱敏)。

3.具备优秀的跨部门协作能力和客户现场对接经验,能快速响应并解决技术问题。

4.持有CDMP、CISSP、数据工程师认证(如阿里云/华为云)者优先。

5.有大规模语料数据处理或AI训练数据治理经验者优先。

6.熟悉开源数据治理框架(Apache Atlas/Amundsen)或数据血缘工具。

公司地点:上海徐汇区星云1号大厦12楼

公司简介:

职位发布者:萧女士

上海库帕思科技有限公司

融资阶段:

公司规模:

相似职位: