大数据架构师

职位描述:

1、基于数据湖iceberg为大规模企业系统设计和实现合理的离线/实时数据架构;

2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型;

3、利用公司已有的实时湖仓引擎结合客户需求进行poc、项目实施、技术问题攻关等。

4、生产系统的trouble-shooting,设计和实现必要的机制和工具保障生产系统整体运行的稳定性

任职资格

1、熟悉Java等编程语言,有强悍的编码和 trouble-shooting 能力;

2、熟悉Iceberg底层技术原理,阅读过大量Iceberg源码,有丰富的Iceberg应用开发经验,有实践落地/二次开发等经验优先录用;

3、撑握Hudi、datalake数据湖组件特性, 有丰富的应用开发经验;

4、熟悉Flink流计算引擎, 熟读源代码并有丰富的实时数仓实践经验;

5、熟悉HDFS的原理和使用,对列式存储格式,深入了解Parquet/ORC的存储原理;

6、对常见大数据计算引擎Flink/Spark等,或分析引擎Trino/Presto有框架有深入了解;

7、有其他大数据系统/框架经验加分,Hive、HBase、Kafka等;

公司地点:北京双安商场停车场北京·海淀区·双安

公司简介:

职位发布者:刘

方昇人力资源(江苏)有限公司

融资阶段:

公司规模:20~99人

相似职位: