工作职责:
1、负责共享交换系统、任务调度系统、元数据管理系统、数据标准管理系统、数据质量管理系统、数据开发系统、建模平台、数据分析系统等开发经验;
2、负责大数据产品的构建和完善;
3、根据业务需求对数据仓库进行建模,设计数据存储和集成方式;
4、根据业务需求使用流计算工具进行数据加工程序的开发;
5、研究项目技术细节,编写相应的说明书;
6、有python、shell开发经验者优先。
二、任职条件:
1、工作经验
(1)熟悉Hadoop的生态系统,掌握Hive、Hbase、Spark、zookeeper等大数据组件、以及HDFS分布式文件系统;
(2)有Hadoop生态相关运维、开发、架构优化经验;
(3)具备大数据集群故障排查能力,良好的技术敏感度和风险识别能力;
(4)理解HDFS体系架构,并能熟练使用Hive、HDFS、python、Spark等工具;
(5)能够使用大数据相关的技术(分布式存储、数据管理、数据处理)解决业务相关问题;
(6)大数据资源评估;
(7)设计文档输出。
2、学历要求:本科及以上学历
3、年龄要求:45周岁及以下