岗位职责:
1. 基于公司自研 CPU 服务器平台,深入优化 Hadoop、Spark、Hive 等大数据框架在生产环境中的性能表现,挖掘系统性能潜力。
2. 针对关键基准测试(如 Hadoop TestDFSIO/Terasort、Spark SQL、Spark ML),设计完善的测试方案,并进行深入的性能调优与瓶颈分析。
3. 深入分析并掌握 Hadoop、Spark、Hive 框架的核心实现原理,识别其中与底层硬件架构相关的性能影响因素。
4. 与硬件和系统团队紧密协作,推动软硬件协同的优化方案落地,实现硬件优势与软件性能的高效结合。
5. 撰写性能优化报告和技术文档,总结沉淀优化过程中的经验,形成可复制的性能优化最佳实践。
6. 持续改进性能优化的流程、方法和工具,不断提升大数据平台的整体效率和性能表现。
岗位要求:
1. 计算机相关专业本科及以上学历,5 年以上大数据系统开发或性能优化经验。
2. 精通 Hadoop、Spark、Hive 等大数据框架的核心模块和运行机制,有源码级调试或框架二次开发经验者优先。
3. 具有丰富的系统性能调优经验,能够熟练使用各类 profiling 和 tracing 工具定位性能问题。
4. 熟悉 CPU 体系结构及其对大数据任务性能的影响(如缓存、NUMA、指令集等),具备软硬件协同优化的思维。
5. 具备良好的工程能力,善于解决复杂问题,能够独立承担性能分析与调优工作。
6. 热爱技术,对攻克性能难题充满激情;
7. 工作地点:上海或苏州。