高级大数据开发工程师

(优先考虑有爬虫经验的大数据工程师,感谢投递)

职位描述:

1、根据产品和项目的需要,参与构建大数据存储和处理架构方案,并基于开源和商业数据库/大数据平台产品进行实施;

2、深入了解用户业务场景和业务数据,并根据业务需求对不同来源的同构或者异构业务数据进行深入理解,ETL(提取,转化,加载),以及数据建模,并有效存储和管理数据;

3、针对大数据系统进行性能调优,根据应用需求完成数据处理工作,为后续的数据智能分析和应用开发提供高质量的数据基础;

4、维护大数据平台系统的日常运行,确保系统稳定高效运转。

任职要求:

1、计算机、软件工程、信息管理等相关专业,本科或以上学历,硕士学历优先;

2、精通结构化数据库和数据仓库,精通SQL语言,对Oracle,MySQL等等关系型数据库有三年以上使用经验。有DBA经验优先;熟悉Greenplum,GBase等等MPP数据仓库者优先;

3、了解两种或以上NoSQL数据库,包括Hadoop+HBase+Hive,MongoDB,ElasticSearch,Redis,Neo4j等等。有两年以上Hadoop和MongoDB实战经验优先考虑;

4、熟悉Java/python/R/Scala语言中的一种或多种,熟练使用Windows和Linux,有python编程基础且有爬虫经验的优先;

5、对数据库上下游相关技术(计算引擎,缓存,消息中间件,负载均衡等等)有一定了解,包括但不限于:Spark,MapReduce,Zookeeper,Storm,Kafka,Celery,Nginx等等;

6、具有丰富的后台大数据服务开发和实施经验。对系统架构设计与性能调优有经验者优先,有专利和知识产权背景者优先;

7、良好的逻辑分析能力和学习能力,思路清晰,善于思考,能独立分析和解决问题;

8、责任心强,具有团队合作精神,良好的语言表达能力和沟通能力。

公司地点:北京石景山区印海升潮图文快印广告1号楼B座16层

公司简介:

职位发布者:侯女士

北京星河智源科技有限公司

融资阶段:

公司规模:

相似职位: