岗位职责
AB 实验平台全生命周期规划
主导实验平台选型评估(自研 / 付费 / 开源工具对比),结合业务规模与技术架构,输出平台建设方案(含从 0-1 搭建或现有系统迭代);
负责平台核心功能设计(如实验创建、流量分层分桶、数据看板、结果解读模块),明确数据回传机制、分组逻辑与功能测试链路,确保平台适配多业务场景(如增长、推荐、商业化等)。
科学实验设计与落地管控
基于统计学原理(假设检验、P 值、置信区间、统计功效等),指导业务团队设计合规实验方案,把控样本量计算、指标选取、多重检验风险等关键环节;
跟进实验全流程(从假设提出到结果复盘),判断实验结果显著性,输出可落地的业务洞察,避免误判或资源浪费。
业务深度联动与痛点解决
深入业务一线(如产品、运营、增长团队),挖掘各场景实验痛点(如实验效率低、结果解读难),结合数据中台资源输出定制化解决方案;
推动实验与业务目标对齐,量化实验对核心指标(如转化、留存、GMV)的影响,支撑业务决策。
平台优化与实验文化推广
基于平台使用数据(如实验通过率、用户反馈)与竞品调研,持续迭代平台能力(提升实验效率、结果准确性、用户体验);
组织科学实验培训(如方法论、平台操作),制定实验规范与文档,推动 “用数据说话” 的实验文化在全公司落地。
任职要求
学历与经验
本科及以上学历,统计、数学、计算机、数据科学等相关专业优先;
5 年以上数据产品经验,其中 3 年以上 AB 实验平台设计 ,有从 0-1 搭建 AB 实验平台经历者优先;
熟悉业内主流 AB 工具(如 statsig、神策、火山ab)及大厂实验体系,了解流量分层、CUPED、贝叶斯胜率等前沿方法。
核心能力
技术理解:清晰掌握 AB 实验技术原理(如数据回传、分组算法、埋点设计),能与研发团队协同推进平台落地;
统计素养:深刻理解假设检验、样本量计算、结果显著性判断等核心逻辑,能解决实验中的统计偏差问题;
业务 sense:能快速理解不同业务场景(如增长、商业化、用户体验)的需求,将实验设计与业务目标结合;
工具技能:熟练使用 SQL,掌握至少一种数据分析工具(Python/R/Tableau),了解大数据架构(如 Hadoop、Spark)者优先。
软素质
结果导向:具备强项目推动能力,能跨团队(研发、数据、业务)协调资源,确保方案落地;
沟通能力:能清晰传递实验逻辑与价值,推动业务团队认可并使用 AB 实验;
学习能力:持续关注行业实验方法论与工具动态,能将新方法应用到实际工作中;
主人翁意识:对实验结果准确性与业务价值负责,主动优化平台与流程。
四、加分项
有AI出海、内容分发等用户规模较大行业的 AB 实验经验;
曾主导过实验文化推广,显著提升公司实验渗透率;
具备 BI 平台、CDP/DMP 等数据产品经验,能联动构建完整数据驱动体系。
职位定位
负责公司级 AB 实验体系的顶层设计与落地推动,主导从实验平台选型到业务价值落地的全链路,通过科学实验方法与数据驱动,支撑产品迭代优化与业务增长,同时建立并推广数据决策文化。