岗位职责:
1.参与大模型分布式训练高性能优化
2.支持大模型项目工程落地
岗位要求:
1.本科以上学历,专业不限,计算机基础扎实,熟悉C/C++,Python
2.熟悉计算机体系结构、并行计算、分布式计算技术
3.熟悉NVIDIA CUDA GPU或国产计算芯片(昇腾、燧原、壁仞、天数、沐曦等任意一款)的计算开发与调优
4.熟悉pytorch、deepspeed、megatron、colssal-AI等任意一种分布式训练框架优先
5.熟悉NCCL、MPI等通信库,有高性能通信开发与优化经验优先