工作职责:
1.负责开发和优化大模型推理框架,通过编译优化、算子融合、高效CUDA算子开发等高性能优化技术提升引擎的推理效率
2.负责大语言模型(LLM)的推理优化算法的前沿研究和落地,包括大模型蒸馏、稀疏、量化、MoE等热门技术,并通过与推理框架的集成实现在低端硬件上部署大模型推理服务,降低推理成本
3.结合公司业务,分析大模型推理的性能瓶颈,制定全链路的优化方案,指导工程落地,为业务场景提供可靠的算法能力输出。
岗位要求:
1.本科及以上学历,计算机、人工智能、数学等相关专业,具有3年以上NLP相关经验,有大语言模型(LLM)、智能问答、内容生成领域相关经验优先
2.熟悉Linux操作系统,掌握PyTorch、TensorFlow等深度学习框架,掌握Python或者C++编程语言
3.具备CUDA编程能力和开发经验,熟悉至少一种基础算法库,如cuBLAS、cuDNN、cutlass等
4.熟悉AIGC领域前沿技术,掌握Transformer架构、RLHF等技术原理,熟悉vLLM、TGI、TensorRT等主流推理框架,并具有相关的推理优化经验
5.具有Pytorch或TensorFlow的开发经验,熟悉各类深度学习网络和算子的底层实现细节,有模型训练或推理的调试调优的实操经验,并掌握相关的优化方法
6.加分项:有AutoML或AIGC方向顶会论文者优先,在知名竞赛中取得优异名次者优先,有高质量Github项目经验者优先。
PPIO 边缘云于 2018年成立,由 PPTV 创始人姚欣和首席架构师王闻宇联合创立,秉承“汇聚全球计算资源”的使命,在网络边缘侧基础设施上建构边缘云计算服务。
作为中国领先的独立边缘云服务提供商,PPIO边缘云在全国30多个省,超过1000多个县市及区域,为客户提供符合低时延、高带宽、海量数据分布处理需求的边缘云计算服务和解决方案。PPIO边缘云是云计算能力由中心云向边缘侧的下沉,同时架构上基于边缘云原生技术,可实现与传统中心云的兼容协同,已成为多家互联网巨头、一线云计算服务商、独角兽级创业公司,在边缘云服务领域的主要合作伙伴。
PPIO边缘云团队来自微软、腾讯、爱奇艺、PPTV 等知名互联网公司的核心高管及创业团队成员,拥有雄厚的技术积累。团队坚持价值创造、商业落地、全球普适的商业价值观,希望在新一轮分布式云计算创新的浪潮中,有效连接云、边、端的算力资源,保障极致用户体验,促进跨行业应用创新,致力于成为全球边缘计算领域的创领者。