1.熟练使用cdc.cdl.flume等数据采集工具;
2.精通SQL,熟悉大数据产品生态圈,包括不限于:Hive.Hbase.kafka.Flink.Spark等;
3.熟悉大数据的存储.计算相关技术:Hadoop/Doris/Kafka/Flink/redis/doris等大数据生态圈常用组件;
4.本科及以上学历,5年及以上大数据运维.开发经验。
岗位职责:
1.负责数据采集.数据清洗.数据转换;
2.负责标准化数据开发.指标数据开发;
3.配合主题层.专题层数据汇总.数据开发;
4.完成领导交办的其他工作事项。