职位描述
1.结合HPC和AI前沿技术，设计和优化大模型训练和推理框架，负责模型优化、算子优化、图优化、分布式优化等，提升计算效率
2. 负责云侧或端侧大模型和小模型推理服务开发、性能优化、上线等工作
职位要求
1. 统招本科及以上学历
2. 精通C/C++、python编程，熟悉常用数据结构
3. 了解transformer的结构，了解模型训练、微调和推理的过程和原理
4. 热爱技术，可以快速学习新技术，快速掌握HPC和AI前沿技术
5. 有以下一项或多项技术能力者优先
1) 有GPU、NPU、ARM、或其他AI芯片等平台上AI落地实践经验
2）熟悉并行计算和分布式计算技术，有 MPI、OpenMP、CUDA 等编程经验，或有PTX、汇编优化方法
3) 熟悉模型训练框架如Deepspeed、Megatron，pytorch等
4) 熟悉TensorRT-LLM、vLLM、sglang等任一推理框架，有实际操作经验
5) 熟悉多层次的软件优化经验，如模型剪枝/量化/压缩、分布式优化（PD分离）、存储优化、kv-cache优化、动态Batching、IO优化、算子/指令集优化等