职责描述
1. 负责公司大数据处理平台的总体技术工作，包括需求分析、架构设计、研发、以及性能分析工作；
2. 负责设计、构建和优化基于hadoop/Hbase的存储平台架构；
3. 负责整体提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高扩展特性；
4. 根据业务需求，提出最优的技术解决方案；分解详细的开发任务，能配合其他项目制定开发计划、开发文档、开发流程图；
5. 负责带领项目及培训团队，指导技术团队完成数据规则的定义、数据模型的建立、数据清洗、数据迁移等工作。
6. 负责数据架构的规划，并制定实施标准和规范，确保得到有效的执行，同时保障数据以及文档的质量达到预定的标准；
岗位要求
1.3年以上软件开发经验，精通Java开发，3年以上Hadoop相关开发经验；
2.具备数据库系统基本理论知识，掌握主流关系型数据库的管理和应用，精通SQL语言，性能优化；
3.对hadoop的Map/Reduce原理有深入研究，有相关项目的实际开发经验；
4.熟悉Hadoop、Hive和hbase、storm等开源项目；
5.对基于hadoop的大数据处理体系有深入认识，具备相关产品（hadoop/storm /hive/hbase）项目应用研发经验，熟悉分布式系统、分布式计算系统的工作机制，能熟练掌握相关核心技术的工作机理；具有大规模数据平台，高并发大型系统，大数据等架构设计和开发经验；