岗位职责:
1、对公司各个系统数据进行梳理,排查,建立统一数据字典;
2、制定数据标准,数据开发规范标准,推广并监督实施;
3、参与各个系统的数据架构设计,提出合理建议;
4、搭建公司统一数据平台,为上层中台服务和相关报表系统提供底层数据支撑;
5、探索新的数据使用场景,使数据转换为商业价值。
任职要求:
1、本科及以上学历,计算机相关专业;
2、具有优秀的编码能力,至少掌握一种编程语言:Java/Python/Scala以及脚本语言Shell。熟练使用SQL,HQL;
3、掌握主流关系型数据和非关系型数据库的使用,Postgresql/Oracle,熟悉常用函数和存储过程开发。
4、熟悉Hadoop技术平台的生态圈, Hdfs、Yarn、Hbase、Hive、Sqoop等;
5、熟悉分布式计算框架Spark;流式计算,实时数据处理架构;
6、熟练使用ETL工具和其他数据同步工具,Kettle等;
7、熟悉基于hadoop生态搭建数据仓库实施步骤;
8、掌握数据建模理论并有相关实施经验。