职位描述:
1.负责基于Flink、Spark的离线、实时大数据计算程序开发;
2.负责企业级数据仓库设计和建模以及ETL流程开发,对ETL的质量和性能负责;
3.负责数据治理,接口开发等工作,提升数据易用性及数据质量;
4.参与新技术选型和调研,解决不断增长的数据带来的存储和计算挑战。
任职要求:
1、本科及以上学历,数学、计算机科学与技术相关专业优先,具有大数据处理方向5年及以上开发经验;
2、熟悉Java、Scala或者Python编程语言;掌握JvmGC调优;熟悉MySql、MongoDB等OLAP数据库和OLAP分析型数据库,熟练使用SQL语言;
3、熟悉主流大数据技术,包括但不限于Flink、Hadoop、Hbase、Kafka、Hive、ZooKeeper、StarRocks等;
4、具有海量数据实际开发经验,能熟练使用Flink、Spark进行离线和实时数据开发及优化;具备丰富的大数据架构经验,具备一定的数据挖掘经验;
5、具有金融行业大数据开发经验优先,熟悉数据仓库搭建优先;
6、具备良好的团队合作精神和逻辑思维能力,有较强的计划与执行能力,沟通与表达能力,组织与协调能力。