岗位职责
1.负责数据模型设计.数仓建设,维护和优化工作,参与数据中台与数据应用的建设;
2.负责对接部门内数据采集.数据治理.数据分析需求,参与制定和执行对应大数据开发开发工作和对应计划文档输出;
3.负责对接部门外数据需求,参与制定和执行对应大数据开发开发工作和对应文档输出;
4.主导数据经营分析领域项目的实施,推进项目的实施与落地;
5.负责核心技术问题攻关,建设高可靠性,扩展性及高性能大数据/数据应用平台;
6.制定数据治理领域的管理规范,包括元数据管理.数据标准.数据质量.数据安全等工作,确保数据可信与安全。
任职资格
1.全日制本科及以上学历,计算机相关专业或有相关职位经验;
2.至少5年及以上大数据研发经验,熟悉大数据相关技术,具有搭建cdh和基于原生ambari,hadoop,spark,kafka搭建大数据平台经验;
3.掌握spark,sparkstreaming,flink,kafka,hive,hdfs,hudi,altas,clickhouse,hbase等大数据生态组件,有较好的性能调优经验;
4.有较为丰富SQL.HiveSQL.SparkSQL进行数据开发,至少熟悉Java,Scala,Python,R一种编程语言,
5.熟练使用airflow.sqoop.datax等工具;
6.热爱技术,主动思考,有责任感,有很好的数据/技术敏感度.全局意识。