负责大模型安全方面研究,包括但不限于大模型预训练数据安全、大模型越狱攻击、大模型行为风险评估、生成内容安全合规、隐私保护等技术难题,打造大模型安全解决方案竞争力。
岗位职责:
1.设计针对AI、大模型的安全自动化测评工具和多维度评测方案,制定自动化评测工具开发策略,用于评估AI大模型在不同场景下的安全性表现,提升评测效率与覆盖率;
2.设计并实现评测大模型,针对安全相关维度的问答对,实现高效自动化评分;
3.研究和分析AI、大模型的潜在安全漏洞和攻击面;
4.跟踪最新的安全技术和行业标准,评估其对大模型安全的影响,探索创新评测范式;
5.跟踪国内外知名测评数据集,持续优化测评题库的全面性、及时性、安全性、准确性等;
6.参与制定和编写相关方向的标准、规范,输出领域专利。
任职要求:
1.有国内外基础大模型厂商工作经验者优先;
2.计算机科学、人工智能、机器学习或相关领域硕士及以上学历;
3.具有扎实的代码基础,熟练掌握C++/Java/Python等至少一门语言,熟练掌握至少一项深度学习框架,如Tensorflow、PyTorch等;
4.至少2年在大模型安全、机器学习安全或相关领域的工作经验;
5.有AI安全与治理相关经验及成果,如数据安全(隐私保护、数字水印、数据清洗、溯源、联邦学习等)、价值对齐(不同文化意识形态及价值观和安全的内化)、安全围栏(内容审查及违规处理)、agent安全、应用安全等;
6.有人工智能安全(模型鲁棒性、模型后门、红队测评)相关知识的研究和项目经验者优先;
7.具有以下领域至少一种的技术积累,具有相关研究经验者优先:
- 熟悉大模型训练调优:掌握预训练、指令微调、RLHF等技术,具备大模型训练经验;
- 多模态大模型:熟悉视觉-语言模型架构设计与训练,了解多模态融合技术及跨模态对齐方法,具备图像、文本等多种模态数据处理经验;
上海观安信息技术股份有限公司(Information & Data Security Solutions Co., Ltd.)成立于2013年,是上海市高新技术企业、软件企业及"小巨人"培育企业。
观安信息拥有一支有20年高端客户信息安全服务经验、安全专业技术经验及大数据分析经验的团队,以及国内外高端的信息安全、大数据分析顶尖人才。现有员工800余人,公司核心发展方向是以大数据分析为基础,大数据分析+泛安全为业务主线,泛安全方向包括网络安全、信息安全、工控安全、风控安全和公共安全几大核心方向。
为政府、运营商、金融、能源、交通、互联网等行业客户提供:多维度安全威胁识别、互联网攻击行为分析、UEBA用户行为分析、工业物联网分析、安全运维管理系统、敏感数据管理系统、大数据安全管控系统、合规检查管理平台、大数据&云基线检查系统、漏洞管理系统、魅影高交互式仿真系统、Web动态防御系统、等保建设、安全技术服务、安全咨询服务、安全培训服务等信息安全解决方案,全方面、有效地保障客户单位业务的可持续性健康发展,为其信息安全建设、大数据应用的有序发展保驾护航。