岗位职责:
1、公安行业、智慧城市大数据项目前期数据治理工作的开展实施;
2、制定数据治理的任务计划、按时报告进度;
3、数据汇聚治理数据建仓;
4、根据客户业务需求、对数据进行分析统计、编制数据质量分析报告;
5、领导交待的其他任务;
6、完成数据的抽取、转换和入库工作、保证每天增量数据准确及时入库;
岗位要求:
1、熟悉关系型数据库技术 如oracle、Sql server MYSQL等、 精通SQL;
2、了解大数据采集、存储相关技术、有Datax、 kettle kafka、hdfs、 hbase、hive、ES 等经验者优先;
3、具有Hive使用及优化经验、了解UDF开发;
4、熟悉Linux操作系统、掌握常用命令;
5、至少1年以上ETL数据开发经验、具有公安行业大数据治理项目经验者优先;
6、可以承受阶段性出差或加班的工作节奏