职位描述:
1. 架构设计与优化:负责的大数据底层集群(如Hadoop、Spark、Flink等)的架构设计、性能调优及稳定性保障,解决高并发、高可用性场景下的技术难题;
2. 数据治理与开发:基于阿里云DataWorks、腾讯云WeData等平台开展数据开发与治理工作,包括ETL流程设计、数据资产管理和质量监控;
3. 数据体系建设:参与构建和维护数据仓库、数据湖等核心架构,推动大数据生态工具(如Hive、Kafka、HBase等)的落地与迭代;
4. 跨团队协作:与广告业务团队紧密合作,理解业务需求并提供高效的数据解决方案,支持广告投放效果分析、用户画像、LLM数据集训练等场景;
5. 技术攻关与创新:参与大数据领域技术难题攻关,探索LLM(大语言模型)、实时计算等新技术在广告行业的应用。
职位要求:
1. 计算机科学、信息技术或相关领域的本科及以上学历。
2. 3年以上大数据开发经验,精通Hadoop/Spark/Flink等框架的底层原理及调优,具备集群运维、资源调度(YARN/K8s)、故障排查能力;
3. 熟悉阿里云DataWorks、腾讯云WeData等数据开发治理平台,有实际项目落地经验;
4. 掌握数据仓库建模(Kimball/Inmon)、数据湖(Delta Lake/Iceberg)技术,了解云原生大数据服务(如EMR、CDH);
5. 具备结构性思维,能独立设计复杂技术方案并推动落地;
6. 优秀的沟通能力与团队协作意识,能快速理解业务痛点并转化为技术需求;
7. 强烈的自我驱动力和抗压能力,对技术难题有持续攻坚的热情。