2025-数据平台开发工程师 (可校招)
岗位描述:
- 负责数据平台离线/实时计算框架/调度平台的演进与维护; 参与设计下一代架构提升数据平台的稳定性与性能
- 负责计量数仓，质量数仓相关的数据开发工作
- 负责部分大数据组件的管理和维护, 持续设计更优的方案提升稳定性与性能
职位要求:
- 熟悉大数据生态, 对 spark/flink/airflow中至少一种有源码级别的了解，可以进行扩展/改造
- 有扎实的数据结构，算法基础; 对分布式系统设计有一定的了解; 对大数据相关存储组件(如 hdfs, hbase, elasticsearch, kafka) 有一定的了解
- 擅长以下技能的两种或以上:
- 看过Spark源码(有社区pr更好)，知道SparkSQL的实现细节(join, groupby等算子是怎么实现的)，有Spark任务调优经验
- 有编译修改Flink源码经验，了解FlinkSql常用算子使用场景，有Runtime性能调优经验优先
- 有 Kafka / Elasticsearch / Hbase 任意一种的使用经历, 对其机制，使用的最佳实践等有原理上的了解
- 熟悉 Linux下的日常运维工作, 熟悉 docker / k8s 的基本原理, 掌握 Dockerfile / docker-compose 的开发
- 熟练掌握 Grafana 和 Prometheus, 能够完成监控告警的开发
- 熟悉常用调度框架: Apache Airflow / Apache DolphinScheduler / XXL-Job 等的任意一种