岗位职责
1. 负责基于 Spark 3.x 的下一代计算引擎架构设计及核心模块开发（Native Runtime、Catalyst 优化器扩展）。
2. 引入并二次开发 Blaze Native Engine（Rust + JNI），完成存量任务从spark往blaze迁移。
3. 负责 Hadoop 3.x 集群的运维自动化与性能调优，保障 99.9% 可用性。
4. 跟踪 Spark / YARN / Blaze / Hadoop 社区动态，如 Spark on Kubernetes、Celeborn RSS。
5. 与数据开发、SRE、算法团队高效协作，推动需求落地；编写技术文档并组织内部分享，沉淀最佳实践。
岗位要求
1. 计算机科学或相关专业本科及以上学历。
2. 3 年以上大数据引擎或平台开发经验，熟悉 Spark 3.x 内核（Catalyst、Tungsten、AQE）。
3. 深入理解 YARN 资源调度原理，具备调优经验。
4. 熟悉 Blaze（或 Velox/Gluten）Native Engine 架构，有向量化执行、JNI 调优实战经验。
5. 熟练运维 Hadoop 3.x（HDFS NameNode HA、Router Federation、滚动升级）。
6. 精通 Java/Scala，熟悉 Rust 或 Go 者优先；有大型代码重构成功案例。
7. 熟悉 Linux 操作系统及常用开发调试工具；具备快速学习能力与技术热情。
8. 良好的沟通能力和团队合作精神，能跨职能推动复杂项目落地。