岗位职责：1.负责大数据平台项目的需求分析、架构设计、核心框架及组件的调优工作，保证服务的稳定性、高可用性；2.参与构建流批一体的数据自助分析平台，负责平台的后端代码开发和维护；3.负责离线和实时数据的采集、清洗和加载工作，以及数据模型、指标建设和BI报表的开发工作；
任职要求：1.具有良好的学习能力、团队协助以及沟通能力，执行力强，对工作有责任心，具备良好的规划、沟通以及协调能力；2.掌握基于Hadoop生态的离线和实时开发体系，特别是基于Sparksql的离线开发，以及优化掌握数据仓库模型设计，ETL过程，并在实际工作中参与过离线数仓和相关业务指标的整体建设；3.熟悉使用大数据中常用的OLAP数据库（Starrocks，Doris）常用性能优化技术熟悉大数据中数据治理等相关工作，对于Spark、Flink、Hive、Kafka、DataX，Flume、Starrocks，要求在实际项目中使用过其中的两到三个以上；4.了解大数据相关工具，例如：atlas 元数据治理，dolphin工作流调度等，了解并使用过 AWS EMR 或 阿里云 EMR 及其生态，如 EMR集群组件，OSS，SLS 等。5.有一定的接口开发能力 / 使用过如QuickBI Tableau / 有数据湖工具使用经验等属于加分项