职位描述
1、负责智创AI平台大数据架构演进以及推进落地：根据不同领域场景大模型落地需求，提出大模型训练和优化数据规模、数据类型、数据结构等建议；
2、负责搭建大模型数据平台：支撑大模型数据的存储、预处理（去重、相似度计算、脱敏等）诉求，并且针对大模型场景、数据类型、数据规模有足够的扩展性，以支撑大模型数据集持续迭代，实现高质量数据集沉淀；
3、负责大模型数据分析：通过对文本、图像等数据内容特征深入分析，提炼有价值的数据集分类标签，为数据质量改进提供依据；
4、负责数据生成和数据增强：基于种子数据，运用大模型工具生成完善数据集。
职位要求
1、硕士及以上学历，计算机、人工智能等专业优先；
2、具备3年以上数据处理或模型训练工作经验，熟练掌握文本、多模态等非结构化数据处理方法，精通数据清洗、特征提取和数据增强等技术，能够解决数据工作中各种问题；
3、精通Python、Java等至少一种编程语言，具备良好的编码能力和代码质量意识，熟悉常用的数据处理、文本处理和图像处理库，能够高效地实现数据清洗和处理的算法和流程；
4、具备丰富的数据建模以及数据架构经验，能够对结构化和非结构化数据场景进行统一的建模；
5、具备丰富的数据湖开发经验（hudi/iceberg/hive等），并且对数据计算相关技术框架有深入的实践和理解（spark/flink/hadoop/ray）；
6、具备优秀的分析问题和解决问题能力，勇于挑战困难问题；
7、具备良好的团队协作和沟通能力，能够带领团队达成数据目标任务；
8、主导过大模型或者离在线场景下的数据平台建设、海量的图片、视频数据平台建设、大数据开源框架者优先。
发光如星是一家有着独特基因的猎头公司，顾名思义，公司希望每一个发光如星的员工都可以煜煜生辉，同样也希望整个公司能在互联网这个行业中绽放自己的光芒；在其他同业公司都在追求快速扩张的时候，我们在努力的夯实公司发展的底层地基。更关注员工的个人成长和组织的核心稳定性，本着对客户和顾问负责的态度，稳扎稳打，不断打磨自己的培训体系；为行业培养了越来越多的优秀顾问