职位概述：
我们正在寻找一位经验丰富、充满热情的数据开发工程师，加入我们充满活力且快速成长的AI应用部门。你将与算法工程师、AIGC工程师和数据科学家紧密合作，负责构建、优化和维护我们AI产品和服务的核心数据基础设施。如果你热衷于处理大规模数据，精通数据管道建设，并渴望在创新技术前沿工作，那么我们期待你的加入。
主要职责：
1.数据平台建设与维护：
负责设计、开发、部署和维护高可用、可伸缩的数据存储和处理系统（如数据湖、数据仓库）。
构建和优化各种数据管道（ETL/ELT），确保数据从不同源系统（业务数据库、日志系统、外部API等）高效、准确地流入目标平台。
持续监控数据管道的运行状况，及时发现并解决数据质量、性能和稳定性问题。
2.数据资产管理：
参与数据模型的设计与优化，建立清晰、一致的数据结构和元数据管理体系。
确保数据安全与合规性，实施数据访问控制和脱敏策略。
协助构建数据字典和数据目录，提升数据可发现性和可用性。
3.支持AI应用开发：
为算法工程师和数据科学家提供高效、高质量的数据支持，包括特征工程所需的数据准备、标注数据管理等。
参与AI模型训练和推理数据流的建设与优化，确保数据在模型生命周期中的顺畅流动。
协助将模型部署所需的数据服务化，提供稳定、高性能的数据接口。
4.技术创新与优化：
持续关注行业前沿技术和工具（如新的大数据框架、云服务、数据治理工具），并评估其在团队中的应用潜力。
参与数据基础设施的性能调优、成本优化和架构演进。
撰写技术文档，分享知识，推动团队技术能力共同提升。
任职要求：
1.教育背景： 计算机科学、软件工程、数据科学或相关专业本科及以上学历。
2.工作经验： 3年以上数据开发、大数据平台开发或相关领域工作经验。
3.技术能力：
精通至少一种主流编程语言，如Python（优先）、Java、Scala。
熟练掌握SQL，具备复杂SQL查询优化能力。
熟悉大数据生态系统组件，如Hadoop、Spark、Hive、Kafka等，并具备实际项目经验。
有使用关系型数据库（如MySQL、PostgreSQL）和NoSQL数据库（如MongoDB、Cassandra）的经验。
熟悉数据仓库建模理论和实践（如星型模型、雪花模型）。
有云平台（如AWS、Azure、GCP、阿里云、腾讯云）大数据服务使用经验者优先。
4.了解数据治理、数据质量管理、元数据管理相关概念和工具者优先。
了解机器学习、深度学习基础知识，以及AI模型生命周期中的数据需求者优先。
5.软技能：
具备优秀的分析问题和解决问题能力。
良好的沟通能力和团队协作精神，能够与不同背景的同事有效合作
强烈的责任心和自我驱动力，对新技术充满好奇心，乐于学习和分享。
6加分项：
有AIGC领域数据处理经验。
有实时数据处理或流计算系统开发经验。
有数据可视化或报表开发经验。
参与过开源项目或技术社区贡献。