大模型训练框架工程师

岗位描述:

1. 参与开发视频⽣成⼤模型训练框架,⽀持并保证任务在多机多卡上稳定⾼效训练;

2. 研发并⾏优化视觉⽅向的⼤模型并⾏训练策略;

3. 对训练进⾏性能瓶颈分析,实施模型训练性能优化措施,提升训练效率,同时利⽤硬件特性最⼤化资源效⽤,并与业界技术进步保持同步。

岗位要求:

1. 熟练使⽤PyTorch框架,可对DDP训练的代码进⾏性能分析和优化

2. 熟练使⽤主流⼤模型训练框架Deepspeed、Megatron等训练框架,掌握3D并⾏、ZeRO机制、Flash-Attn等的原理、使⽤场景、优劣势以及可优化⽅向;

3. 有SD,DiT,VAE模型训练性能优化经验者优先;

4. 熟悉Accelerate 框架者优先。

公司地点:上海漕河泾工业园区A6

公司简介:

成都驭风人力资源有限责任公司成立于2018年04月04日,注册地位于中国(四川)自由贸易试验区成都市高新区天府大道北段1700号4栋1单元8层817号,法定代表人为文小林。经营范围包括一般项目:人力资源服务(不含职业中介活动、劳务派遣服务);企业信用管理咨询服务;技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;旅游开发项目策划咨询;咨询策划服务;企业管理咨询;面向家长实施的家庭教育咨询服务;信息技术咨询服务;教育咨询服务(不含涉许可审批的教育培训活动);劳务服务(不含劳务派遣);教育教学检测和评价活动;市场营销策划(除依法须经批准的项目外,凭营业执照依法自主开展经营活动)。许可项目:职业中介活动(依法须经批准的项目,经相关部门批准后方可开展经营活动,具体经营项目以相关部门批准文件或许可证件为准)。

职位发布者:Rosie

成都驭风人力资源有限责任公司

融资阶段:

公司规模:20~99人

相似职位: