职位描述
1.负责大数据平台的设计、开发、优化和维护工作，包括实时与离线数据管道构建、数据集成、数据处理与计算等功能，支持公司数据产品研发。
2.参与数据中台体系产品研发，负责数据仓库/数据湖的模型设计、ETL开发、数据质量监控与数据治理工作。
3.负责基于Hadoop、Flink等生态体系构建高可用、高性能的实时与离线数据平台，解决数据存储、计算和检索的性能问题。
4.设计和开发数据服务接口，支持业务部门、产品团队及运营团队的数据分析与应用需求，参与数据产品从需求分析到架构设计的全过程。
5.负责数据同步、数据调度、元数据管理及数据安全合规等方面的技术实现与优化。
职位要求
本科及以上学历，计算机、数学、统计或相关专业，3年以上大数据开发或数据仓库项目实施经验。
技术硬技能要求：
1.精通大数据生态技术：Hadoop（需了解底层原理）、Spark、Flink（实时计算）、Hive、Kafka等，具备实际项目经验。
2.精通关系型数据库（如MySQL、Oracle、PostgreSQL等）和MPP数据库（如 Doris、ClickHouse、Greenplum等），能进行高效SQL编程和性能调优。
3.熟练使用多种ETL工具（如DataX、Sqoop、Kettle等），有丰富的数仓建模和数据处理经验。
4.有数据中台产品（如 DataWorks、阿里云大数据平台、火山VeCDP等）使用和研发经验者优先。
5.了解基本的数据治理方法，包括元数据管理、数据质量、数据安全等。
编程与系统能力：
1.熟练掌握SQL编程。
2.掌握至少一门编程语言。
3.熟练使用Linux系统，能编写Shell脚本处理日常任务。