工作职责:
1、基于自研AI加速卡及相关软件栈，开发大模型推理框架，实现框架功能；
2、端到端调通大模型，优化推理性能、调试精度和准确率；
3、根据实际需求，承担部分算子的开发和优化工作；
4、开发服务接口、对接外部服务接口，按业务要求达成各种测试要求，实现大模型推理框架落地。
任职资格:
1、硕士毕业，工作经验3年或以上；
2、C++ (11/14 及以上)， Python 编程熟练 ；
3、推理引擎框架开发经验 2年或以上，熟悉常用的大模型推理框架 包括但不限于 TensorRT-LLM, vLLM 等；
4、熟悉 MLIR 或 TVM；
5、精通大模型网络结构的一种或多种，包括但不限于 GPT, Llama2 / Llava 等；
6、精度大模型常用 算子及优化方法，包括但不限于 各种 attention, RoPE, GEMM 等。
北京清微智能科技有限公司于2018年07月26日成立。公司经营范围包括：技术开发、技术转让、技术咨询、技术服务；委托加工电子产品；销售计算机、软件及辅助设备、通讯设备；技术检测；货物进出口、技术进出口、代理进出口等。