一、必备条件:
● 工作经验: 5年以上 专职Hadoop和PostgreSQL/Greenplum数据库管理和运维经验,有管理超过100个节点的Hadoop集群和PB级数据量的实战经验。
● Hadoop技术栈:
○ 精通HDFS、YARN、Hive、Spark的核心原理、配置和优化。
○ 具备丰富的集群故障排查和性能瓶颈分析能力。
○ 熟悉至少一种集群管理工具,如 Ambari, Cloudera Manager。
○ 熟悉ZooKeeper, Kafka, Flume等组件的运维。
● PostgreSQL/Greenplum技术栈:
○ 精通Greenplum或PostgreSQL的体系架构、并行查询原理、存储引擎。
○ 精通SQL性能调优,能熟练使用EXPLAIN ANALYZE分析复杂查询。
○ 深刻理解表分布策略、分区表、索引对性能的影响。
○ 熟练掌握备份恢复工具(如gpbackup/gprestore, pg_basebackup)、日志分析、连接池(如PgBouncer)。
● Linux/Shell: 精通Linux操作系统,能熟练编写Shell脚本完成自动化运维任务。
● 问题解决能力: 出色的分析问题和解决复杂问题的能力,能独立处理线上紧急故障。
● 熟悉一种或多种编程语言(Python, Java, Scala)。
● 有使用容器化(Docker, Kubernetes)技术部署数据库或大数据组件的经验。
二、任职要求:
● 强烈的责任心和服务意识: 对生产环境的稳定性和数据安全有极高的敬畏心。
● 卓越的沟通和团队协作能力: 能够清晰地向技术和非技术人员沟通技术问题。
● 抗压能力和学习能力: 能适应7x24小时on-call的应急响应,并持续学习快速迭代的新技术。
● 主动性和前瞻性: 不仅能解决当前问题,更能主动发现潜在风险并提出改进方案。