大模型推理优化工程师

岗位来自阿里智能信息大模型推理优化团队,产品有夸克,通义,uc浏览器等,业务稳定,战略项目。

集团对AI的投入非常大,真·海量HC,北京/杭州均有岗,如果感兴趣,可直接投递简历!

以下为详细jd:

1、主导大模型在线推理系统的性能攻坚,构建多节点多GPU的分布式推理架构,实现智能请求调度算法与异构硬件的极致性能调优;

2、研究低bit量化、稀疏化attention等解码加速技术,在保障精度前提下显著降低计算资源消耗;

3、设计高并发场景下的负载均衡方案,构建支持动态扩展的弹性计算架构,优化推理引擎运行时环境,实现毫秒级延迟与高QPS吞吐能力。

职位描述

1、精通C/C++、Python等至少一门编程语言,以及Linux下的系统开发经验

2、熟悉常用机器学习算法,对文本/多模态大模型相关领域模型,对llama、deepseek、qwen等模型有深刻的理解,熟悉TF/Pytorch等深度学习框架,有相关模型训练和模型效果优化者优先

3、熟悉大模型MegatronLM/Deepspeed分布式训练框架,深入了解模型量化、蒸馏、剪枝等模型优化原理和策略,有文本、语音、以及多模态模型相关训练、效果调优经验优先

4、熟练使用包括vllm/sglang/lmdeploy等一种以上模型推理服务框架,有代码分析及性能优化经验优先。

5、有技术敏锐度,善于攻坚,抗压能力比较强,良好的团队合作精神和意识。

公司地点:杭州余杭区阿里巴巴西溪C区1

公司简介:

2021年4月,阿里巴巴集团成立智能信息事业群,包含夸克事业部、UC事业部、书旗事业部、智能营销平台等业务版块,核心产品为夸克App、UC浏览器、书旗小说、超级汇川广告平台等。

近两年,智能信息事业群孵化的智能搜索App夸克获得快速成长,UC浏览器、书旗小说等产品持续进化,在信息服务领域取得了不同维度的突破。智能信息事业群将集中业务资源和组织优势,聚焦智能信息服务赛道的创新机会,从用户需求出发,探索AI技术的创新应用,以“智能工具+内容”的新模式,从工具产品升级到服务平台,持续为用户提供高效、智能的互联网产品。

2021年8月至今,吴嘉担任智能信息事业群总裁。

职位发布者:何经理

优视科技(中国)有限公司

融资阶段:

公司规模:100~499人

相似职位: