工作职责:
团队介绍:1.我们是通义千问基础大模型团队,目前负责通义千问系列通用语言、多模态大模型的前沿研究以及应用探索。团队使命是做好基础研究,在追求通用AI的路上,解放AI生产力。2.团队21年研发了中文多模态预训练大模型M6系列,探索从千亿:万亿·十万亿模型的绿色低碳训练方法、包含国际首批通用文牛图模型;22年推出通用多模态AI模型)系统、OFAOneFoAI)系列、以通用语言指令的方式让一个模型可以应对高达7种模态的理解和生成任务;23年推出通义千问基础语言模型,同时也具备多模态与插件功能。
职位描述:
-参与超大规模预训练语言模型和多模态模型的预训练的模型训练,包括:
1.预训练模型结构和训练任务优化,提升预训练模型学习世界知识的能力。
2.持续收集和清洗大规模预训练数据,并研究数据构成和学习顺序对大模型效果的影响。
3.参与预训练模型评测,包括评测流程建设和完善、评测方法设计和优化等。
-参与大模型Alignment相关工作,包括:
1.Alignment方法设计与研究,包括SFT和RLHF等相关的算法研究。
2.Alignment整体数据建设,包括数据构建、标注以及分析其对模型能力的影响。
3.从下游调优的角度探索如何提升大模型的逻辑推理能力。
4.高效参数调优,轻量化Finetuning探索。
任职要求:
1.有大模型算法设计和训练经验的优先;2.有大模型算法相关研究经历和具有影响力的科研工作(高引用论文、知名开源项目、企业大模型项目等)的优先;3.自我驱动力,动手能力强,对AI行业有浓厚的兴趣,较强的学习能力和责任心;,
4.熟练掌握tensorflow、pytorch等深度学习框架;
5.优秀的coding/工程能力
蚂蚁集团创办于2004年,是移动支付平台「支付宝」的母公司,也是领先的金融科技开放平台,致力于携手合作伙伴,为消费者和小微经营者提供普惠、绿色、可持续的服务,为世界带来微小而美好的改变。旗下产品包括支付宝、蚂蚁森林、余额宝、蚂蚁链、OceanBase等。
蚂蚁集团创办于2004年,是移动支付平台「支付宝」的母公司,也是领先的金融科技开放平台,致力于携手合作伙伴,为消费者和小微经营者提供普惠、绿色、可持续的服务,为世界带来微小而美好的改变。 旗下产品包括支付宝、蚂蚁森林、余额宝、蚂蚁链、OceanBase等。