岗位职责及目标
1. 负责大模型推理引擎的设计、开发和优化,特别是针对MOE架构专家分布式的推理性能优化;
2. 深入研究和实现MOE模型的底层技术优化,包括CUDA/Kernel算子优化、内存/显存管理策略和计算图优化等;
3. 设计和优化MOE模型的专家分布式调度策略,实现高效的专家路由和负载均衡;
4. 针对MOE架构大模型进行通信优化,包括通信性能和通信/计算策略流程的优化,减少分布式推理中的通信开销;
5. 探索和实现大模型推理引擎的前沿技术,推动团队技术能力的持续提升,同时编写高质量的技术文档,参与团队技术分享和知识沉淀。
任职要求
1. 学历要求: 计算机科学、人工智能、软件工程或相关专业,硕士及以上学历。
2. 技术背景:
* 熟悉深度学习框架(如PyTorch、TensorFlow等),具有大模型开发和优化的实际经验。
* 深入理解MOE(Mixture of Experts)架构,具备相关模型的设计和优化经验。
* 熟悉GPU/TPU硬件架构,具备CUDA、OpenCL等高性能计算开发经验。
* 熟悉分布式训练和推理技术,了解NCCL、MPI、RDMA等通信库的优化策略。
* 具备底层计算优化经验,如算子融合、内存优化、计算图优化等。
3. 编程能力: 精通Python、C++,具备高性能代码开发和调试能力。
4. 加分项:
* 在顶级会议(如NeurIPS、ICML、CVPR等)发表过相关论文。
* 有大规模分布式系统开发经验,熟悉Kubernetes、Docker等容器化技术。
* 熟悉大模型推理引擎(如DeepSpeed、vllm和sglang等)的源码和优化策略。
符合京东价值观:客户为先、创新、拼搏、担当、感恩、诚信。
京东于2004年正式涉足电商领域。2015年,京东集团市场交易额达到4627亿元,净收入达到1813亿元,年交易额同比增长78%,增速是行业平均增速的2倍*。京东是中国收入规模最大的互联网企业。截至2015年12月31日,京东集团拥有近11万名正式员工,业务涉及电商、金融和技术三大领域。
2014年5月,京东集团在美国纳斯达克证券交易所正式挂牌上市,是中国第一个成功赴美上市的大型综合型电商平台,并成功跻身全球前十大互联网公司排行榜。2015年7月,京东凭借高成长性入选纳斯达克100指数和纳斯达克100平均加权指数。
跨境电商
京东在跨境进出口业务方面都制定了详细的发展规划,全面加速国际化进程。
在进口业务方面,成立了“京东全球购”平台。目前,已开设的国家馆有“法国馆”、“韩国馆”、“日本馆”、“澳大利亚馆”、“美国馆”、“德国馆”和“英国馆”;已开设的地区馆有“台湾馆”和“香港馆”,中国消费者足不出户即可享受全球优质商品。
京东金融
京东金融集团,于2013年10月开始独立运营,定位为金融科技公司。京东金融依托京东生态平台积累的交易记录数据和信用体系,向社会各阶层提供消费金融、理财、支付、众筹等各类金融服务。同时,夯实金融门户基础,并依托京东众创生态圈,为创业创新者提供全产业链一站式服务。
京东金融现已建立七大业务板块,分别是供应链金融、消费金融、众筹、财富管理、支付、保险、证券,陆续推出了京保贝、白条、京东钱包、小金库、京小贷、产品众筹、私募股权融资、小白理财等创新产品。
京东技术
京东是一家业务与技术双导向的公司,从成立伊始,就投入大量资源开发完善可靠、能够不断升级、以电商应用服务为核心的自有技术平台。
技术对京东的价值可以总结为业务保障和技术突破两个方面。业务保障包括基础保障、平台保障和安全保障,能够支持京东的高速顺畅运营,应对618、双11等电商大促的海量订单压力。在完成业务保障的基础上,技术突破会给京东带来更高的运行效率和更多的商业机会。目前京东的技术突破有相当的比重是从大数据中产生的。同时,京东云在完成全面京东业务运营支撑的同时,会成为京东对外提供技术、方案服务的核心,京东将自身的技术、资源和经验全面云化输出,帮助政府、行业用户迅速走上“互联网+”进程。