职位描述:
1、基于数据湖iceberg为大规模企业系统设计和实现合理的离线/实时数据架构;
2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型;
3、利用公司已有的实时湖仓引擎结合客户需求进行poc、项目实施、技术问题攻关等。
4、生产系统的trouble-shooting,设计和实现必要的机制和工具保障生产系统整体运行的稳定性
任职资格
1、熟悉Java等编程语言,有强悍的编码和 trouble-shooting 能力;
2、熟悉Iceberg底层技术原理,阅读过大量Iceberg源码,有丰富的Iceberg应用开发经验,有实践落地/二次开发等经验优先录用;
3、撑握Hudi、datalake数据湖组件特性, 有丰富的应用开发经验;
4、熟悉Flink流计算引擎, 熟读源代码并有丰富的实时数仓实践经验;
5、熟悉HDFS的原理和使用,对列式存储格式,深入了解Parquet/ORC的存储原理;
6、对常见大数据计算引擎Flink/Spark等,或分析引擎Trino/Presto有框架有深入了解;
7、有其他大数据系统/框架经验加分,Hive、HBase、Kafka等;