工作职责:
1. 负责设计和开发高性能推理引擎,持续提升AI模型在自研GPU芯片上的推理性能;
2. 负责推理引擎中算子调度、并行策略、图优化、模型量化等核心模块的开发与优化;
3. 负责跟踪业界前沿技术、最新模型,推动在自研推理引擎上进行落地和调优。
任职资格:
1. 计算机相关专业,本科及以上学历, 3-5年以上相关工作经验;
2. 熟悉C++与Python编程,有良好的编程习惯和较强的问题解决能力;
3. 有ONNX Runtime、TensorRT、NCNN、MNN或其他推理引擎的开发经验;
4. 对算子调度、并行策略、图优化、模型量化等优化技术有深入了解;
5. 对AI编译器如Triton、TVM、MLIR、XLA等有一定实践经验者优先;
6. 有LLM、AIGC模型部署经验,熟悉vLLM、SGLang等LLM推理引擎者优先;