岗位职责:
1、参与大数据平台搭建以及项目技术架构;
2、负责大数据平台核心业务功能的设计和研发、实时计算和离线计算功能的研发;
3、负责企业级数据仓库的设计和研发、海量数据的模型设计和优化、数据ETL流程的研发;
4、负责大数据平台的框架设计及核心代码编写、部署;
5、对各类数据进行采集、存储、管理、分析、建模、作业调度、持续维护;
6、负责大数据平台的监控及优化、针对持续增长的数据提供相应的解决方案;
任职要求:
1、计算机相关专业、本科及以上学历、5年以上工作经验;
2、熟悉Hadoop生态和体系架构、熟悉Flink、 Spark、Hive等常用开源工具;
3、了解调度系统、能够编写调度任务脚本;
4、精通数据仓库有关领域知识、例如数据分层、元数据管理、ETL工作流、SQL性能调优等;
5、熟悉Linux/Unix系统、掌握一门或多门编程语言、如Java、Python、Scala等;