岗位职责:
1、负责目标检测、人脸识别,OCR,NLP以及多模态等相关算法的模型压缩、蒸馏、量化工作,为模型实现推理加速;
2、完成算法在 CPU/NPU/GPU 上的落地部署;
任职资格:
1、本科及以上学历,计算机、人工智能、数学、图像、信息处理等相关专业,5年及以上算法经验;
2、掌握C/C++、 python ,具备系统软件开发架构能力;
3、熟悉如 Intel、Rockchip、Nvidia任意一款NPU/ GPU体系结构和性能调优,并且有AI推理部署项目落地经验;
4、熟悉常见的模型蒸馏、裁剪和量化算法,熟悉Linux 嵌入式开发环境;
5、熟悉任意一种推理引擎,如OpenVINO, NCNN,ONNX或TensorRT,有相关的模型推理部署开发经验的优先;
加分项:
1、有主流大语言实际的落地部署经验(包括不限于:BERT/GPT/T5/PaLM/GLM/Bloom/LLaMA)
2、熟悉IPEX-LLM,vLLM,TensorRT-LLM,DeepSpeed-infer等大语言模型推理框架;
3、对各种gpu,npu等架构有一定的了解。