岗位职责：
1.负责大数据平台项目的需求分析、架构设计、核心框架及组件的调优工作，保证服务的稳定性、高可用性；
2.参与构建流批一体的数据自助分析平台，负责平台的后端代码开发和维护；
3.负责离线和实时数据的采集、清洗和加载工作，以及数据模型、指标建设和BI报表的开发工作；
任职要求：
1.精通Flink/Spark/Hbase/Hive等大数据技术，理解其运行时架构、状态管理、容错机制、时间窗口、水位线等核心概念，以及优化掌握数据仓库模型设计，ETL过程。精通Flink SQL，Spark SQL 海量数据性能调优，有flink结合数据湖相关项目经验。
2.熟悉使用大数据中常用的OLAP数据库（elasticsearch、clickhouse、starrocks），熟悉大数据中数据治理等相关工作。
3. 熟悉数据挖掘和分析方法，有数据分析经验；
4.熟悉使用大数据相关工具，例如：dolphin工作流调度、BI报表工具等
5.有一定的接口开发能力，有一定的爬虫技术等属于加分项