职位描述:
1.参与公司数据工具链平台的设计与开发,构建高效、可扩展的数据处理流水线(如ETL工具、数据同步服务、数据质量监控平台、元数据管理系统等)。
2.负责数据工具链核心组件的开发,包括数据集成(多源异构数据接入)、数据清洗、任务调度、血缘追踪、数据可视化等模块,提升数据研发效率与质量。
3.优化数据工具链的性能与稳定性,解决海量数据(TB/PB级)场景下的高吞吐、低延迟、资源调度等挑战。
4.与业务团队协作,抽象通用数据需求并工具化(如自动化数据建模、指标计算、报表生成),降低数据使用门槛。
5.推动数据治理能力落地(如数据血缘、质量规则、敏感数据识别),确保数据安全合规(如权限管控、脱敏加密)。
职位要求
1.专业背景:计算机科学、数据科学、信息管理等相关专业本科及以上学历。
2.3年以上数据治理、数据仓库或数据库管理经验,熟悉金融/互联网/泛AI领域数据场景优先。
3.精通SQL/Python,熟悉主流数据库(MySQL/Oracle/MongoDB等)及ETL工具(DataStage/Informatica等)。
4.具备数据治理工具(Collibra/Alation/Atlas)或数据中台建设经验者优先。
核心能力:
1.熟悉数据质量管理方法论(如DAMA),能独立设计数据质量规则与监控体系。
2.掌握数据安全法规(GDPR/CCPA等)及脱敏技术(动态脱敏/静态脱敏)。
3.具备优秀的跨部门协作能力和客户现场对接经验,能快速响应并解决技术问题。
4.持有CDMP、CISSP、数据工程师认证(如阿里云/华为云)者优先。
5.有大规模语料数据处理或AI训练数据治理经验者优先。
6.熟悉开源数据治理框架(Apache Atlas/Amundsen)或数据血缘工具。