大模型推理加速工程师

base 杭州/广州

岗位职责

1、参与大模型离线训练的效率和稳定性提升的工作;

2、参与大模型在线inference吞吐/延迟优化,提升inference性价比的工作;

3、参与上述算力加速软硬件及平台体系化的设计和建设工作,支撑大模型能力建设和落地应用。

岗位要求

1.熟悉Linux开发环境,掌握Python/C++等语言, 有良好的编程基础、系统设计优化能力;

2、了解LLM(Large Language Model)基本原理,有模型训练的相关经验;

3.熟悉主流训练框架和训练加速技术,包括但不限于 Megatron,DeepSpeed等分布式训练框架,熟悉数据读取,高性能网络通信,计算等优化方向;

4.熟悉主流推理框架和推理加速技术,包括但不限于vllm, TensorRT等;

5.具备良好的技术热情和责任感,优秀的分析解决问题能力,良好的团队意识和沟通能力。

公司地点:广州海珠区阿里中心·广州琶洲101

公司简介:

2021年4月,阿里巴巴集团成立智能信息事业群,包含夸克事业部、UC事业部、书旗事业部、智能营销平台等业务版块,核心产品为夸克App、UC浏览器、书旗小说、超级汇川广告平台等。

近两年,智能信息事业群孵化的智能搜索App夸克获得快速成长,UC浏览器、书旗小说等产品持续进化,在信息服务领域取得了不同维度的突破。智能信息事业群将集中业务资源和组织优势,聚焦智能信息服务赛道的创新机会,从用户需求出发,探索AI技术的创新应用,以“智能工具+内容”的新模式,从工具产品升级到服务平台,持续为用户提供高效、智能的互联网产品。

2021年8月至今,吴嘉担任智能信息事业群总裁。

职位发布者:何经理

优视科技(中国)有限公司

融资阶段:

公司规模:100~499人

相似职位: