岗位职责:
1、负责大数据基础平台的架构设计、以及大数据平台的整体规划;
2、搭建数据平台技术框架、指导开发人员进行开发、并解决开发过程中细节问题;
3、负责数据基础平台架构和数据处理体系的升级和优化、不断提升系统的稳定性和效率、为公司的业务提供大数据底层平台的支持和保证;
4、建设高度集成的开发、查询、运维、资产管理等一体化平台工具;
5、负责Hadoop/Spark/Hive/Flink/Kafka/Presto/Doris等大数据组件的底层运维与调优工作;
6、保障大数据基础平台服务7*24稳定、可靠、高效运行、开发自动化运维工具和运维辅助系统、提升大数据平台运维自动化水平;
专业技能:
1、全日制统招本科及以上学历、计算机及相关专业;
2、优秀的大数据集群架构思维、能够设计合理高效的大数据集群方案;
3、精通Hadoop/Hive/Flink/Kafka/ES/Presto/Doris/Sqoop/Flume等大数据相关组件的原理和高可用部署、丰富的大数据集群故障排查、性能调优经验;
4、JAVA基础扎实、精通IO、多线程、集合等基础框架;熟练常用设计模式;
5、掌握Linux/Unix平台上的开发环境、熟练掌握shell语言编程;
6、精通j2ee规范、熟练运用spring cloud 、mybatis框架进行项目开发;
7、掌握数据库开发技术、具备海量数据加工处理 ETL、相关经验、有数据库建模经验、灵活运用SQL实现数据ETL加工处理;
8、具有良好的沟通能力和组织协调能力、有一定的抗压性;
9、具备优秀的逻辑思维能力、对解决挑战性问题充满热情、善于解决和分析问题;