一、工作职责
1、负责共享交换系统、任务调度系统、元数据管理系统、数
据标准管理系统、数据质量管理系统、数据开发系统、建模
平台、数据分析系统等开发经验。;
2、负责大数据产品的构建和完善;
3、根据业务需求对数据仓库进行建模,设计数据存储和集成
方式;
4、根据业务需求使用流计算工具进行数据加工程序的开发。
5、研究项目技术细节,编写相应的说明书;
6、有python、shell开发经验者优先
二、任职条件:
1、工作经验
1)熟悉Hadoop的生态系统,掌握Hive、Hbase、Spark、zookeeper等大数据组件、以及HDFS分
布式文件系统;
2)有Hadoop生态相关运维、开发、架构优化经验;
3)具备大数据集群故障排查能力,良好的技术敏感度和风险识别能力;
4)理解HDFS体系架构,并能熟练使用Hive、HDFS、python、Spark等工具;
5)能够使用大数据相关的技术(分布式存储、数据管理、数据处理)解决业务相关问题;
6)大数据资源评估
7)设计文档输出
2、学历要求:
本科及以上学历。
3、年龄要求:
45周岁及以下。