工作职责:
1、负责基于Flink的实时流处理框架开发;
2、负责Flink的实时流处理任务开发及调优;
3、深入理解业务场景,与业务部门合作设计及实现场景化数据处理
4、针对实时数据需求,开发流式处理任务。
5、根据数据处理需求进行数据处理脚本开发,搭建数据仓库。并进行维护
任职要求:
1、深入理解Flink技术架构及原理,了解spark MLlib,的运用。
2、具有3年以上开发基于Flink实时流计算业务项目上经验
3、必须能熟练使用JAVA/scala语言进行Flink开发,有切实的落地经验
4、有较好的解决问题的能力,有学习新技术的驱动力
5、对常见中间件kafka/redis/ClickHouse有使用经验
6、掌握Kafka、ClickHouse、Redis、ES、Hadoop体系等相关大数据技术
7、有过推荐系统、标签计算经验更佳