大数据优化专家

岗位职责:

1. 基于公司自研 CPU 服务器平台,深入优化 Hadoop、Spark、Hive 等大数据框架在生产环境中的性能表现,挖掘系统性能潜力。

2. 针对关键基准测试(如 Hadoop TestDFSIO/Terasort、Spark SQL、Spark ML),设计完善的测试方案,并进行深入的性能调优与瓶颈分析。

3. 深入分析并掌握 Hadoop、Spark、Hive 框架的核心实现原理,识别其中与底层硬件架构相关的性能影响因素。

4. 与硬件和系统团队紧密协作,推动软硬件协同的优化方案落地,实现硬件优势与软件性能的高效结合。

5. 撰写性能优化报告和技术文档,总结沉淀优化过程中的经验,形成可复制的性能优化最佳实践。

6. 持续改进性能优化的流程、方法和工具,不断提升大数据平台的整体效率和性能表现。

岗位要求:

1. 计算机相关专业本科及以上学历,5 年以上大数据系统开发或性能优化经验。

2. 精通 Hadoop、Spark、Hive 等大数据框架的核心模块和运行机制,有源码级调试或框架二次开发经验者优先。

3. 具有丰富的系统性能调优经验,能够熟练使用各类 profiling 和 tracing 工具定位性能问题。

4. 熟悉 CPU 体系结构及其对大数据任务性能的影响(如缓存、NUMA、指令集等),具备软硬件协同优化的思维。

5. 具备良好的工程能力,善于解决复杂问题,能够独立承担性能分析与调优工作。

6. 热爱技术,对攻克性能难题充满激情;

7. 工作地点:上海或苏州。

公司地点:上海浦东新区上海科技投资大厦35楼

公司简介:

职位发布者:傅先生

海光云芯集成电路设计(上海)有限公司

融资阶段:

公司规模:

相似职位: