1. 岗位职责
1. 跟进多模态大模型（VLLM）预训练、SFT、RLHF等技术，调研最新进展。负责多模态相关性大模型、多模态大模型稀疏检索和稠密模型、多模态大模型个性化预训练方向，以及多模态大语言模型的训练和推理加速。
2. 多模态大模型个性化预训练：研发个性化预训练模型，探索训练样本、模型参数量等维度scale-up的收益。研究电商搜索场景下，CTR和CVR模型中用户动线特征的挖掘和应用，包括用户行为模型获取、特征设计、结构优化等个性化建模。
3. 多模态大模型的训练和推理加速：协助研究和开发多模态大语言模型的加速技术，如量化、剪枝、蒸馏以及数据特征和调度优化。实现和优化多模态大模型推理框架，提高推理速度和效率。与工程团队合作解决机器学习模型部署中的性能问题。
4. 多模态大模型相关性模型：研发基于多模态大模型的相关性标注和评测大模型，应用于体验实验评测、体验监控、离线数据标注、线上相关性判断等方向。
5. 多模态大模型稀疏检索和稠密模型：研究电商词表生成、多模态稀疏词表和稠密表征技术、LLMs幻觉缓解等问题。
2. 任职要求
1. 自然语言处理、机器学习、数据挖掘、人工智能等相关专业的硕士生/博士生。
2. 熟悉多模态/大语言模型的基本原理和相关算法，如BLIP2、CLIP、GPT、GPT-4等。
3. 熟练掌握Tensorflow、Pytorch等深度学习框架，具备扎实编程基础和独立算法实现能力。
4. 有LM实操经验，参与过大模型预训练、SFT、RLHF等项目者优先。
5. 具备良好的逻辑分析能力和数理基础，对算法原理及应用有深入理解，在人工智能相关国际顶级会议/期刊发表过论文者优先。