岗位职责:
1. 基于公司存算一体芯片进行AI runtime软件栈开发,充分挖掘后端硬件的算力,构建业界性能领先的AI框架
2.适配各类模型及业务算法模型,落地到云端推理卡及端侧设备上等
3.负责大模型推理套件开发,优化推理性能,协助客户进行部署
4.负责业界AI框架技术跟踪调研,以及学术界技术落地可行性分析
岗位要求:
1.熟悉CUDA,PTX,ROCm等业界主流AI软件框架及生态
2.熟悉自然语言模型结构,具备模型部署的调试调优能力,了解各种量化、剪枝、稀疏压缩等模型小型化技术,以及算子融合、图优化、访存优化等优化技术
3.熟悉常见开源大模型Llama2、Mistral、Gemma、MoE等模型结构优先;
4.熟悉CPU、GPU等通用硬件架构,以及相应指令集和算子库,了解一款主流NPU硬件架构和工具链,比如HTP、APU等
5.具备扎实的C++和Python的编程基础,有丰富的编程经验者优先
6.具有较强的学习和解决问题的能力,拥有良好的团队合作和沟通能力