一、工作职责
1、 负责共享交换系统、任务调度系统、元数据管理系统、数
据标准管理系统、数据质量管理系统、数据开发系统、建模
平台、数据分析系统等开发经验;;
2、负责大数据产品的构建和完善;
3、根据业务需求对数据仓库进行建模、设计数据存储和集成
方式;
4、根据业务需求使用流计算工具进行数据加工程序的开发;
5、研究项目技术细节、编写相应的说明书;
6、有python、shell开发经验者优先
二、任职条件:
1、工作经验
1、熟悉Hadoop的生态系统、掌握Hive、Hbase、Spark、zookeeper等大数据组件、以及HDFS分
布式文件系统;
2、有Hadoop生态相关运维、开发、架构优化经验;
3、具备大数据集群故障排查能力、良好的技术敏感度和风险识别能力;
4、理解HDFS体系架构、并能熟练使用Hive、HDFS、python、Spark等工具;
5、能够使用大数据相关的技术 分布式存储、数据管理、数据处理、解决业务相关问题;
6、大数据资源评估
7、设计文档输出
2、学历要求:
本科及以上学历;
3、年龄要求:
45周岁及以下;