大数据实时计算工程师

岗位职责:

1、参与实时计算平台、实时数仓开发平台的建设;

2、在阿里云大数据平台上开发基于Kafka和Flink构建实时数据处理流水线,实现数据的实时清洗和转换;

3、对 Flink 任务进行性能调优,提高数据处理的吞吐量和延迟,优化资源利用率;

4、结合实时计算的需求,优化整体大数据架构,提高系统的扩展性和灵活性;

5、监控和保障实时计算系统的稳定性和可靠性,及时处理系统故障和异常,确保数据的实时处理不中断;

岗位要求:

1、具有3年以上大数据实时计算开发经验;

2、熟练掌握 Flink、Kafka 等实时计算和消息队列技术;

3、熟悉Hadoop生态圈技术,包括HDFS、YARN、HBae、Hive、Zookeeper等;

4、具备扎实的编程基础,熟练掌握 Java、Python 等编程语言。

5、具有良好的问题解决能力和团队协作精神

公司地点:上海恒隆广场1-1

公司简介:

职位发布者:孙

上海荞麦管理咨询有限公司

融资阶段:

公司规模:20~99人

相似职位: