数据工程师(LLM 数据采集 & RAG 方向)

职位描述

我们正在寻找一位 数据工程师,专注于 大规模数据采集、预处理、RAG(检索增强生成)知识库构建,以支持 LLM(大语言模型)的微调和 AI 留学顾问的开发。

你将负责:

数据采集:爬取 & 解析全球大学招生信息、申请案例、文书数据

数据清理 & 结构化:去重、标准化、格式转换(JSON / CSV)

知识库构建(RAG):利用 FAISS / Pinecone 提供 LLM 语义检索能力

数据增强 & 生成:利用 GPT-4 自动标注数据,优化 LLM 训练集

你的工作内容

1. 数据采集 & 预处理

爬取 & 解析招生信息:

采集英国、美国、澳大利亚等高校招生网站数据(Scrapy / Selenium)

解析 HTML / JSON / PDF / CSV 文件,提取结构化数据

监控院校政策变更,自动化更新数据

数据清理 & 格式化:

去重 & 标准化数据,消除噪声

解析文书、推荐信数据,提取关键特征(如 GPA、标化成绩)

2. RAG 知识库构建

搭建 FAISS / Pinecone 向量数据库

处理招生政策、成功案例、申请文书

通过 LangChain 连接 LLM,提高模型在查询时的实时性

让 AI 在回答问题时调用最新院校信息

优化 LLM 检索增强生成(RAG)

处理 100万+ 招生数据点,训练语义向量模型

结合 OpenAI API / DeepSeek-R1,优化 LLM 对大学信息的推理能力

3. 数据增强 & LLM 训练数据生成

设计数据增强 Pipeline

结合 GPT-4 进行自动数据标注

生成 Chain-of-Thought(CoT)推理训练数据

处理 GSM8K 数据集,优化 LLM 逻辑推理能力

自动化数据更新

设计 定时爬虫 & 数据更新 Pipeline

让 LLM 持续获取最新的招生政策 & 录取趋势

关键技能

爬取 & 数据解析

Scrapy, BeautifulSoup, Selenium

数据处理

pandas, NumPy, JSON, CSV, SQL

自然语言处理(NLP)

spaCy, NLTK, Hugging Face

向量数据库 & RAG

FAISS, Pinecone, ChromaDB, LangChain

自动标注 & 数据增强

OpenAI API, GPT-4, Chain-of-Thought 生成

云计算 & 部署

AWS / GCP / Azure, FastAPI

数据库

PostgreSQL, MongoDB

加分项

有 处理 LLM 训练数据的经验

熟悉 强化学习数据(Reward Function 设计)

了解 大模型微调(QLoRA / LoRA)

在 Kaggle / NLP 竞赛 中有实战经验

了解 DeepSeek-R1 / GPT-4 / Llama 3.1 训练方法

公司地点:上海静安区静安中港汇506

公司简介:

索引留学品牌—简介

索引留学是英国百所顶尖大学的官方授权招生代表,至今已积累二十多年的专业留学服务经验,专注为中国家庭提供牛剑及世界前100大学的学业规划及申请、个人职业发展咨询、国内外落户服务。

英伦云学品牌—简介

“英伦云学”(UK Cloud Study)是一家K12国际课程与国际化学校运营提供商,旗下有“英伦云小学”“英伦云初中”“英伦云高中”等学术及全人教育课程,英国百年公学-蒙康顿学校中国分校独家运营伙伴。

英伦云小学—中国首家英式在线国际小学:

a.为4-12岁以非英语为母语的小学生提供的全套英国小学教育;

b.培养小朋友以英语汲取与运用知识的能力;

c.通过模拟英国国家课程评量(SATS),令他们的学能与英国小学生达到同一水平.

英伦云初中(Year7-Year9):

是依据英国国家课程大纲KeyStage3阶段的教学目标,结合中国学生不同年龄阶段的发展规律而独立研发的课程。

英伦云高中(Year10-Year13):

是依据英国国家课程大纲KeyStage4&KeyStage5阶段的教学目标,结合中国学生不同年龄阶段的发展规律而独立研发的课程。

公司愿景:成为每个家庭教育国际化的播种者

公司使命:专注于国际教育服务 创新国际课程体系 成就主动学习人才

企业价值观:客户至上、专业精神、尊重个性与教育规律、以奋斗着为本、团队协作、持续创新、产品与服务驱动

我们将为您提供:

你可以是初入社会的应届毕业生,只要你踏实好学,UKCS给你机会!

你可以是不了解国际教育行业的菜鸟,只要你刻苦钻研,UKCS给你机会!

你可以是工作多年寻求更高挑战的行业专家,只要你认同我们的企业文化,UKCS愿意给你更加广阔的平台!

海阔凭鱼跃,天高任鸟飞,UKCS助你成功!

我们的优势:

专业年轻的团队—Team Work:90%的员工为90后,其中约70%有海外名校硕士/博士留学背景(UCL, IC, KSL,Cornell,Columbia,Boston 等),您有机会与年轻且专业,有态度的人一起工作和成长!

广阔的发展空间—Chance:迅速全方位发展的公司,只有你有能力,有才华,有想法~机会处处在!公司为优秀员工提供国外考察进修及外派工作的机会!

完善的福利制度与团队建设—Security: 节假日福利、生日福利、年度体检、团建福利等.

公司地址:

全球总部:英国伦敦南艾普敦街31号311室

上海总部(国内):上海市静安区恒丰路329号隆宇国际广场506室

北京:朝阳区建国门外大街甲6号SK大厦905

广州:广州天河区珠江东路12号高德置地H座15楼V01

青岛:青岛市青岛市南区香港中路40号数码港旗舰大厦802

南京:江苏省南京市鼓楼区江苏路138号四卫头二楼

职位发布者:陈女士

英伦云小(北京)科技有限公司

融资阶段:

公司规模:20~99人

相似职位: