岗位职责:
1、负责主导大数据平台的开发和设计,数据产品的落地,包括但不限于数据采集、调度引擎、开发平台、数据治理、数据服务等;
2、负责主导平台技术的选型,新技术的预研,主流前沿技术的引入和落地,包括但不限于:存储、(流/批)计算引擎、多维分析及直接支持应用的各类数据产品;
3、负责主导平台的技术攻坚,解决平台的疑难杂症,包括但不限于:故障的定位与修复、资源及性能的优化;
4、负责开发流程的优化改造,包括自动化测试。
任职要求:
1、本科及以上学历,3年以上数据平台开发经验,至少完整负责过下列模块之一:数据集成/调度引擎/开发平台/任务运维/数据服务;
2、3年以上的Java开发经验,可熟练开发MapReduce/Spark/Flink之一,熟悉java的IO/并发/容器/内存模型;
3、熟悉hadoop生态环境,有HBase/Kafka/Hadoop/Hive/Spark/Flink/ES开发经验;
4、熟练操作Shell,可独立使用命令行解决集群问题;
5、熟悉Mongo/Redis/Mysql/Kylin/Druid/Flume/Zookeeper等开源产品,熟悉SpringBoot/SpringCloud,熟悉Python/Go语言者优先;
6、有用户标签/画像/推荐等数据产品开发经验者优先;