工作职责
1.负责根据公司发展阶段及业务需求,进行大数据平台数据采集、处理、存储以及分析挖掘的架构优化与实现;
2.负责根据业务需求,设计大数据解决方案,并落地开发实现;
3.负责大数据相关技术发展方向的预研及落地;
4.制定大数据数据治理框架,架构数据中台、数据质量、数据标准、数据应用等方案。
任职要求
1. 985/211本科生及以上学历或全日制研究生及以上学历,计算机相关专业,年龄在35周岁以下(含);
2. 熟悉Hadoop生态体系技术,包括但不限于HDFS、MR、Yarn、Hive、HBase、ZK、Oozie、Hue、Impala;
3.熟悉Spark生态技术开发、部署、维护; 4.熟悉Flink流处理框架,掌握Flink任务的开发、优化、部署;
5.熟悉大数据生态中其他开源技术栈,如ElasticSeach、Redis、ClickHouse等;
6.熟悉常用的大数据调度框架;熟练掌握离线和实时数据仓库的建模,能够开发易维护、可扩展的ETL代码;
7.业务理解能力强,学习能力强,可以较快的学习大数据前沿技术并落地到公司实际业务场景。