工作职责
1、建立文本和多模态数据源、数据格式解析(网页,PDF等)、数据策略、模型能力、下游任务的全链路归因能力
2、建立并持续完善的数据质量、多样性、重复度、覆盖率等评估体系,分析和量化每个维度的影响
3、针对模型核心能力进行重点强化,包括不限于数学、推理、Code、Agent、ICL、OCR等
4、探索如何使用更少数据量,达到同样模型能力的策略,持续提升per token的通用能力训练效果
5、探索基于各类策略的高质量数据生成方式,定向优化特定模型能力和为长期Scaling Law解决数据缺失问题
任职资格
1、对大模型方向充满兴趣,且能充分意识到数据对于模型能力的重要价值和数据侧的巨大空间
2、很好的数据感觉,对人类文明积累下来的优质数据分布有很好的判断
3、有很好的NLP/多模态经验,在数据和算法方向上有深度的工作
4、工程能力强,有大规模数据处理的经验