岗位职责:
1. 负责社交直播 & 短视频产品的大数据平台建设,优化数据存储、计算和分析架构,提升数据处理效率;
2. 设计并开发高性能的 ETL 流程,确保数据的高效采集、清洗、存储和计算,支持个性化推荐、用户画像等业务需求;
3. 参与用户增长、内容推荐、直播互动等核心数据分析工作,为业务决策提供数据支持;
4. 搭建并优化实时 & 离线数据处理系统,提升数据管道的稳定性和可扩展性;
5. 结合业务需求,优化数据湖 & 数据仓库架构,提升查询性能,支持海量数据分析;
6. 负责数据质量监控,设计并完善数据治理体系,确保数据的准确性和一致性;
7. 关注业界前沿技术,优化大数据技术架构,提升计算资源利用率和数据处理效率。
任职要求:
1. 计算机、软件工程、数据科学等相关专业本科及以上学历,3 年左右大数据相关开发经验;
2. 熟悉 Hadoop 生态(HDFS、Hive、Spark、Flink、Kafka 等),具备大规模数据计算与存储的实战经验;
3. 熟悉数据仓库建模(OLAP、Star Schema、Snowflake Schema),有 ClickHouse、Druid、Presto 等大数据查询引擎经验者优先;
4. 精通至少一种编程语言(Golang / Java / Scala / Python),具备良好的编程习惯和系统设计能力;
5. 具备流式数据处理(Flink / Spark Streaming / Kafka Streams)经验,能基于实时数据驱动业务增长;
6. 有用户增长、推荐系统、A/B 测试、商业化数据分析经验者优先;
7. 具备优秀的业务理解能力、数据敏感度和分析能力,能基于数据发现问题并推动业务优化;
8. 良好的沟通能力和团队协作精神,能快速适应海外市场的业务需求变化。
加分项:
- 有短视频、直播、电商等领域大数据经验;
- 熟悉 TensorFlow / PyTorch / XGBoost 等机器学习框架,能结合大数据平台优化推荐策略;
- 参与过数据治理、数据质量管理等项目,熟悉元数据管理、数据血缘分析;
- 在 GitHub / 个人博客等平台有技术分享。