岗位职责:
1、负责大数据平台、数据仓库以及大数据架构搭建,负责大数据相应功能模块研制工作;
2、负责相关产品模块技术研究、软件设计、代码开发、自测试等工作;
3、配合解决开发中的技术问题,具备一定的核心技术攻关能力,能够解决开发过程中技术难题;
4、参与产品测试、项目验收、技术文档编制相关工作;
5、参与系统安装部署,运行维护,调试保障相关工作。
任职资格:
1、硕士具有1年及以上大数据架构设计和开发经验;本科具有2年以上架构设计和开发经验,具有很强的团队意识、沟通能力和独立解决问题的能力,学习能力和主动性强,具有钻研精神,乐于接受挑战。(在大型互联网企业从事大数据架构设计、有分布式大型软件系统设计经验者优先考虑)
2、掌握分布式、高性能计算,从事过Hadoop、Spark、Flink相关的开发工作,最近的工作内容必须包括写代码。(已经不写代码的架构师,请不要申请)
3、熟练掌握大数据的完整处理流程,包括数据的采集、清洗、预处理、存储、分析挖据、机器学习和数据可视化。(具有政府、公安、地理信息领域相关大数据系统构建经验者优先)
4、掌握HDFS、Hive、Spark、Flink、Storm、Kafka等数据处理核心组件,熟悉Hadoop相关各种开源项目,熟悉系统优化、权限控制。
5、熟悉Java、Python、Scala语言,熟悉RedisMySQL,熟悉Linux平台。