岗位职责:
1.基于大数据组件Spark、Flink等进行数据加工和处理;
2.独立进行部分数据处理流程的设计工作,对项目任务需求进行评估和方案设计后完成开发工作;
3.完成大数据实时/离线的数据采集、清洗转换、数据指标加工、数据展示的报表开发工作,使用行内报表工具(Finereport,FineBi等工具);
4.独立进行大数据处理过程开发,包括数据采集、数据清洗转换、数据指标加工;
5.根据数据建模理论和方法进行数据主题的数据分层以及数据建模;
6.独立使用ETL工具进行数据处理,并管理ETL过程的正常运行;熟悉使用调度工具,如Oozie;
7.在高级大数据开发人员指导下进行各类组件的调优;
8.负责大数据集群各类组件的调优并能保障大数据平台平稳运行;
9.负责数据模型、数据处理运维、数据安全等架构落地;
10.结合金融市场部业务理解客户需求,参与金融市场板块数据需求设计以及数据模型的分析工作。
要求:
1.熟练掌握Hadoop框架,丰富的数据分析经验,熟练掌握sql、hql、sparksql,擅长运用其分析并完成复杂业务数据查询,可以使用hql、python、shell进行脚本开发,掌握kafka、spark,flink技术,熟悉Hive架构原理等;熟练掌握报表开发工具;
2.掌握Java;
3.掌握至少一种数据库开发技术:mysql/oracle/db2等;
4.能够独立完成多个模块具体功能的实现;
5.部署搭建大数据架构,搭建分布式开源;
6.能够独立完成多个模块系统缺陷的完善;
7.能够解决技术难题和系统调优等。
加分项:
1.有金融客户数仓或报表平台开发经验者优先;
2.做事有目标、有计划,思路清晰,具有主动性和团队合作精神,能够驻场客户现场并服务客户方管理要求;
3.身心健康,乐观开朗,有一定的抗压能力。