岗位职责:
1、 使用spark、hive、hbase等大数据组件进行大规模的计算任务
2、 参与大吞吐批量计算任务的开发、运维等相关工作
3、 负责数据平台下大规模批量数据集成业务的计算任务设计与开发
4、 负责对大规模批量数据集成服务的性能和稳定性进行优化
技术要求:
1、 有 Hadoop、Hive、Impala、HBase、Spark、Flink、Kafka、Datax、Sqoop、Flume、MapReduce 等两种以上2年以上开发和优化经验;
2、 熟悉分布式原理、对高可靠、高并发、高吞吐量系统有一定的理解;
3、 参与或主导过大数据平台建设项目、对大数据平台有比较清晰的认知和把握能力;
4、 熟悉 Linux 及 Linux shell;
5、 熟悉Oracle和Mysql等关系型数据库;
5、 良好的团队合作精神以及严谨的逻辑思维;
6、 本科及以上学历、2年及以上大数据相关工作经验、有电信运营商行业大数据分析经验优先;