推理优化工程师

职位描述

1、负责LLM，MultiModal-LLM，T2l等模型的推理效率优化，包括但不限于算子优化，模型量化，模型裁剪，模型蒸馏等；结合业务需求，将GPU性能发挥到极致；

2、优化AIGC模型服务推理框架与部署链路，打造低延时、高吞吐、高稳定性的推理系统；

3、探索和研究有助于提升AIGC服务推断性能的新技术，并推动落地。

职位要求

1、本科及以上学历，计算机相关专业；

2、熟练掌握C++/Python，精通数据结构与算法，并有并发编程基础；

3、熟练使用PyTorch/TensorFlow/PaddlePaddle或其他主流深度学学习框架；

4、具有AIGC模型训练/推理优化经验，熟悉TensorRT-LLM、VLLM等LLM推理效率优化工具；

5、积极主动有热情，能与团队融洽合作相处，具备较强的沟通能力。

公司地点：北京海淀区中航广场矮楼北三环西路43号中航广场1号楼（矮楼）

字节跳动成立于2012年3月，公司使命为“Inspire Creativity, Enrich Life（激发创造，丰富生活）”。公司业务覆盖150个国家和地区，拥有15万名员工。

字节跳动在全球推出了多款有影响力的产品，包括今日头条、抖音、西瓜视频、飞书、Lark、PICO、剪映、TikTok等。截至2021年6月，字节跳动旗下产品全球月活跃用户数超过19亿。