广发银行项目,要求有管理经验,后续会兼管理岗)
工作职责:
1.负责数据质量检核ETL开发工作,负责把技术口径登记、分配开发任务、以及开发流程的工作,并保证数据质量、把控开发进度。
2.负责各业务系统数据源数据探查调研,准确性完整性验证。
3.负责关键业务数据的抽取、清洗、转化等数据处理程序开发。
4.负责把控组内ETL的代码质量以及评审,提出SQL优化建议,提升SQL执行效率
5.负责跟进生产问题,及时作出反应,以及分析生产问题,解决生产问题。
6.负责编写技术投产手册以及投产支持的相关事宜。
7.推动数据质量检核ETL流程高效准确上线,做跟进线上查询流程监控、集群资源占用情况、异常流程、效果监控等,并基于监控数据发现可能的问题,督促业务优化使用策略;
工作要求:
1.5年以上大数据相关工作经验;
2.熟悉 Hadoop 、spark 、Flink、Hive、Kafka 等大数据技术及相关组件;
3.对大数据有深入了解,有大数据量的 SQL性能调优经验;
4.对数据敏感,具备良好的表达沟通和学习能力,以及高度的敬业精神和团队合作精神,有责任心、积极主动,学习能力强。