工作职责：
研发及优化大模型推理引擎，推广公有云客户，分析性能瓶颈，定位、解决问题
任职要求：
- 熟悉主流大模型推理框架，如vllm，lightllm，tensorrt-llm，lmdeploy，faster transformer等
- 熟悉CUDA，triton（https://openai.com/research/triton）、cutlass至少一种以上，精通者优先
- 熟悉大模型结构，了解大模型性能瓶颈，熟练分析单机及分布式情况下不同性能热点和优化手段
- 熟悉大模型量化算法，int8/fp8/混合精度量化，了解模型蒸馏、稀疏化、剪裁技术
- 熟悉推理服务框架，具备服务部署经验者优先，了解k8s，容器化服务，Triton Inference Server (https://github.com/triton-inference-server/server)实现原理者优先
- 熟悉分布式模型部署及并行策略，如模型并行、流水线并行等，了解NVLINK、GPU通信者优先
- 熟练掌握Python及C++
- 了解GPU体系结构者优先
工作地点上海、深圳、北京、杭州均可
腾讯以技术丰富互联网用户的生活。
通过通信及社交平台微信和 QQ 促进用户联系，并助其连接数字内容和生活服务，尽在弹指间。
通过高效广告平台，协助品牌和市场营销者触达数以亿计的中国消费者。
通过金融科技及企业服务，促进合作伙伴业务发展，助力实现数字化升级。
我们大力投资于人才队伍和推动科技创新，积极参与互联网行业协同发展。
腾讯于 1998 年11月在中国深圳成立，2004 年6月在香港联合交易所主板上市。