角色与期望:
1 . 基于壁仞GPU生态,设计与实现深度学习推理框架及服务框架核心模块,分析与优化框架性能。
2 . 探索与框架大语言模型/多模态推理前沿技术,能够将大模型/多模态业界最新技术,结合壁仞GPU在此类模型的前沿技术上实现与优化。
3 . 解决日常推理框架,推理服务框架,以及项目交付中相关问题,协同上下游定位解决各类模型推理,各类AI应用场景部署问题。
任职要求:
1 . 计算机,自动化,模式识别,电信信息等相关专业,6年以上深度学习领域相关工作经验。
2 . 有良好的编程习惯,有严谨的软件工作风格,有大模型软件开发经验,熟练使用C/C++,Python等常见编程语言,熟悉常用的调试工具,具备深厚的调试技能。
3 . 掌握至少一种深度学习框架,Pytorch/Oneflow/vllM/Sglang,熟悉相关框架的设计模式,架构特点。
4 . 有CUDA,OpenCL、OpneMP等并行编程经验,熟悉计算组成原理,了解性能优化原理,了解AI算子底层实现。
5 . 了解大语言模型算法原理,模型结构,有大语言模型推理Feature开发经验,了解 例如Paged Attention, PD分离,投机采用等大模型模型应用原理。
6 . 了解推理服务框架设计,有推理服务与集群头部署经验者优先。
通用智能计算公司,国产高端通用智能计算芯片,提供软硬件解决方案;应用于人工智能、云计算、图形渲染、大数据处理等新兴领域。