职责描述:
1、有大数据运维经验,熟悉kafka, spark, sqoop, hive, hbase,cdh、presto、flink、es等组件的运维, 监控、运维管理平台,保障系统稳定运行;
2、掌握基本运维技能,熟悉常用开源工具(Prometheus等)
3、对系统的容量、性能进行评估,制定合理的扩容、优化方案
4、熟悉Shell编程,有Python,Java开发经验优先
任职要求:
1、本科及以上学历,3-5年以上分布式数据存储与计算平台运维经验;
2、熟悉常用大数据生态开源项目的部署升级、扩容缩容、性能和管理优化、问题排查等(主要包括Kafka、Clickhouse、DataX);
3、熟悉Linux系统,能够熟练运用工具排查系统基础问题
4、了解Hadoop大数据多个组件并且有实际的运维经验
5、有AWS等主流公有云平台实际部署维护经验优先
6、对HQL、SparkSQL等有深入研究,能解决实际业务性能问题优先
7、良好的文档习惯和语言表达能力。