职位描述
我们正在寻找一位 数据工程师,专注于 大规模数据采集、预处理、RAG(检索增强生成)知识库构建,以支持 LLM(大语言模型)的微调和 AI 留学顾问的开发。
你将负责:
数据采集:爬取 & 解析全球大学招生信息、申请案例、文书数据
数据清理 & 结构化:去重、标准化、格式转换(JSON / CSV)
知识库构建(RAG):利用 FAISS / Pinecone 提供 LLM 语义检索能力
数据增强 & 生成:利用 GPT-4 自动标注数据,优化 LLM 训练集
你的工作内容
1. 数据采集 & 预处理
爬取 & 解析招生信息:
采集英国、美国、澳大利亚等高校招生网站数据(Scrapy / Selenium)
解析 HTML / JSON / PDF / CSV 文件,提取结构化数据
监控院校政策变更,自动化更新数据
数据清理 & 格式化:
去重 & 标准化数据,消除噪声
解析文书、推荐信数据,提取关键特征(如 GPA、标化成绩)
2. RAG 知识库构建
搭建 FAISS / Pinecone 向量数据库
处理招生政策、成功案例、申请文书
通过 LangChain 连接 LLM,提高模型在查询时的实时性
让 AI 在回答问题时调用最新院校信息
优化 LLM 检索增强生成(RAG)
处理 100万+ 招生数据点,训练语义向量模型
结合 OpenAI API / DeepSeek-R1,优化 LLM 对大学信息的推理能力
3. 数据增强 & LLM 训练数据生成
设计数据增强 Pipeline
结合 GPT-4 进行自动数据标注
生成 Chain-of-Thought(CoT)推理训练数据
处理 GSM8K 数据集,优化 LLM 逻辑推理能力
自动化数据更新
设计 定时爬虫 & 数据更新 Pipeline
让 LLM 持续获取最新的招生政策 & 录取趋势
关键技能
爬取 & 数据解析
Scrapy, BeautifulSoup, Selenium
数据处理
pandas, NumPy, JSON, CSV, SQL
自然语言处理(NLP)
spaCy, NLTK, Hugging Face
向量数据库 & RAG
FAISS, Pinecone, ChromaDB, LangChain
自动标注 & 数据增强
OpenAI API, GPT-4, Chain-of-Thought 生成
云计算 & 部署
AWS / GCP / Azure, FastAPI
数据库
PostgreSQL, MongoDB
加分项
有 处理 LLM 训练数据的经验
熟悉 强化学习数据(Reward Function 设计)
了解 大模型微调(QLoRA / LoRA)
在 Kaggle / NLP 竞赛 中有实战经验
了解 DeepSeek-R1 / GPT-4 / Llama 3.1 训练方法
索引留学品牌—简介
索引留学是英国百所顶尖大学的官方授权招生代表,至今已积累二十多年的专业留学服务经验,专注为中国家庭提供牛剑及世界前100大学的学业规划及申请、个人职业发展咨询、国内外落户服务。
英伦云学品牌—简介
“英伦云学”(UK Cloud Study)是一家K12国际课程与国际化学校运营提供商,旗下有“英伦云小学”“英伦云初中”“英伦云高中”等学术及全人教育课程,英国百年公学-蒙康顿学校中国分校独家运营伙伴。
英伦云小学—中国首家英式在线国际小学:
a.为4-12岁以非英语为母语的小学生提供的全套英国小学教育;
b.培养小朋友以英语汲取与运用知识的能力;
c.通过模拟英国国家课程评量(SATS),令他们的学能与英国小学生达到同一水平.
英伦云初中(Year7-Year9):
是依据英国国家课程大纲KeyStage3阶段的教学目标,结合中国学生不同年龄阶段的发展规律而独立研发的课程。
英伦云高中(Year10-Year13):
是依据英国国家课程大纲KeyStage4&KeyStage5阶段的教学目标,结合中国学生不同年龄阶段的发展规律而独立研发的课程。
公司愿景:成为每个家庭教育国际化的播种者
公司使命:专注于国际教育服务 创新国际课程体系 成就主动学习人才
企业价值观:客户至上、专业精神、尊重个性与教育规律、以奋斗着为本、团队协作、持续创新、产品与服务驱动
我们将为您提供:
你可以是初入社会的应届毕业生,只要你踏实好学,UKCS给你机会!
你可以是不了解国际教育行业的菜鸟,只要你刻苦钻研,UKCS给你机会!
你可以是工作多年寻求更高挑战的行业专家,只要你认同我们的企业文化,UKCS愿意给你更加广阔的平台!
海阔凭鱼跃,天高任鸟飞,UKCS助你成功!
我们的优势:
专业年轻的团队—Team Work:90%的员工为90后,其中约70%有海外名校硕士/博士留学背景(UCL, IC, KSL,Cornell,Columbia,Boston 等),您有机会与年轻且专业,有态度的人一起工作和成长!
广阔的发展空间—Chance:迅速全方位发展的公司,只有你有能力,有才华,有想法~机会处处在!公司为优秀员工提供国外考察进修及外派工作的机会!
完善的福利制度与团队建设—Security: 节假日福利、生日福利、年度体检、团建福利等.
公司地址:
全球总部:英国伦敦南艾普敦街31号311室
上海总部(国内):上海市静安区恒丰路329号隆宇国际广场506室
北京:朝阳区建国门外大街甲6号SK大厦905
广州:广州天河区珠江东路12号高德置地H座15楼V01
青岛:青岛市青岛市南区香港中路40号数码港旗舰大厦802
南京:江苏省南京市鼓楼区江苏路138号四卫头二楼