岗位职责：
1、平台建设与数据仓库/湖仓构建：
a、参与设计、构建和优化公司的大数据分析平台和数据仓库/数据湖体系架构。
b、责数据模型的设计、开发与维护，支持高效的数据存储与访问。
c、开发高性能、可扩展的数据处理（ETL/ELT）流程。
2、数据集成、加工与治理：
a、对接多源（结构化/半结构化/非结构化）、异构数据源，进行高效的数据抽取、清洗、转换（ETL/ELT）和标准化处理。
b、参与数据资产的梳理、管理与维护，提升数据质量、可靠性和可复用性。
c、协助落实数据治理策略（如元数据管理、数据质量监控、数据血缘追踪）。
3、数据产品开发与业务赋能：
a、基于大数据平台，研发服务于业务的数据产品（如BI报表、数据API、用户画像标签系统等）。
b、深入理解业务需求，将业务逻辑转化为数据模型与处理逻辑，持续提升业务的数据驱动决策能力和运营效率。
4、平台运维与稳定性保障：
a、负责大数据系统平台（含数据存储、计算引擎、调度等组件）的日常监控、性能调优和异常处理。
b、及时响应和解决生产环境问题，确保数据处理链路的稳定性和服务的高可用性。
c、参与平台容量规划、容灾方案制定与实施。
任职要求：
基础要求：
1、计算机科学、软件工程、数学、统计学或相关专业本科及以上学历。
2、4年以上扎实的大数据开发领域相关工作经验。
3、熟悉大数据技术生态体系（如Spark、Flink等）。
必备技能：
1、数据分析框架： 精通并具备至少一种主流数据处理框架（如 Spark (核心/Structured Streaming)、Flink、ClickHouse、Presto/Trino、Hive/Impala 等）的实际项目经验和深度调优能力。了解其原理和内部机制。
2、中间件： 深入掌握至少一种主流消息队列（如 Kafka、Pulsar）和缓存（如 Redis）的核心原理与应用场景，具备性能优化和高可用配置经验。熟悉其他中间件（如Zookeeper）为加分项。
3、SQL 能力： 深入理解SQL原理，精通复杂SQL编写，具备丰富的SQL性能分析、诊断与调优经验。
关键能力要求：
1、数据建模与处理能力： 具备数据仓库/数据湖建模理论和实践经验，熟悉Kimball或Inmon方法论，对ETL/ELT开发有深刻理解。
2、平台思维： 对大数据平台架构和技术选型有良好认知，关注系统的高性能、可扩展性和可维护性。
3、问题解决能力： 优秀的系统问题定位、分析和解决能力，能有效处理线上故障和性能瓶颈。
4、业务理解与沟通协作： 具备较强的业务理解能力和沟通协调能力，能与产品、业务、运维等团队高效协作。
5、责任心与稳定性意识： 对平台和数据质量有高度责任感，工作细致严谨，具备良好的稳定性保障意识。
6、有java开发经验