岗位职责：
1. 负责语义大模型数据处理工作，包括但不限于数据采集、格式转换、过滤、预处理、去重、定向内容抽取、数据块制作等，确保数据一致性和可用性。
2. 参与大模型性能指标评测，分析常见的大模型基准测试数据集，提出数据质量优化方案。
职位要求：
1. 本科以上学历，计算机科学、软件工程、数学或统计学等相关专业。
2. 掌握自然语言处理、语义大模型相关领域基础知识
3. 拥有1年以上大模型数据处理实战工作经验，包括但不限于数据清洗、数据爬虫、数据去重等
4. 掌握良好的编程技能，熟练使用Python语言，熟练掌握Linux开发技能，熟悉PyTorch/TensorFlow等至少一种框架
5. 思维严谨，逻辑清晰，工作细致，沟通能力强，责任心强。