工作职责
1. 设计和实现数据仓库与数据湖架构，包括离线和实时数仓/湖的搭建、ETL流程开发及优化，确保高效、稳定的数据处理和存储。
2. 设计和管理数据模型，根据业务需求创建和优化数据模型，确保其能够支持复杂的查询和分析需求，并具备良好的可扩展性和维护性。
3. 建立数据质量管理体系，制定并实施数据质量监控和治理方案，确保数据的完整性和准确性，覆盖数据仓库和数据湖中的数据资产。
4. 支持业务团队的数据需求，与业务部门紧密合作，提供定制化的数据服务和报表，支撑业务决策，并优化数据处理性能以提升响应速度。
岗位要求
1. 5年以上数仓经验、2年以上实时数仓经验，熟悉大规模数据处理和存储架构，熟悉数据湖技术，有使用Paimon/Iceberg 进行实时数据湖建设的经验。
2. 熟练掌握 Spark 和 Hive，具备使用 Flink 开发复杂实时任务的能力，熟悉 StarRocks、Doris 和 ClickHouse 等 OLAP 引擎，并了解它们的优缺点及适用场景。
3. 扎实的 SQL 编写能力，精通 SQL 查询优化，具备丰富的 ETL 开发经验，能够处理复杂的数据转换和清洗任务。
4. 熟悉数据建模方法，能够根据业务需求设计合理的数据模型，确保其符合业务逻辑并支持高效的查询和分析。
5. 具备数据质量管理经验，能够设计并实施数据质量监控和治理方案，确保数据的准确性和一致性。
6. 良好的沟通协调能力，能够与业务和技术团队紧密合作。
加分项：
1. 有云平台（如 AWS、GCP、阿里云）上的数据仓库和数据湖项目经验。
上海合溢网络科技有限公司成立于2021年11月04日，注册地位于上海市奉贤区青村镇李窑村930号，法定代表人为郭新春。经营范围包括一般项目：技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广；互联网销售（除销售需要许可的商品）；市场营销策划；企业形象策划；企业管理咨询；信息咨询服务（不含许可类信息咨询服务）；软件开发；图文设计制作；广告设计、代理；广告发布；广告制作；电子产品销售；日用百货销售（除依法须经批准的项目外，凭营业执照依法自主开展经营活动）。