大数据实时计算工程师

岗位职责:

1. 参与实时计算平台、实时数仓开发平台的建设;

2. 在阿里云大数据平台上开发基于Kafka和Flink构建实时数据处理流水线,实现数据的实时清洗和转换;

3. 对Flink任务进行性能调优,提高数据处理的吞吐量和延迟,优化资源利用率;

4. 结合实时计算的需求,优化整体大数据架构,提高系统的扩展性和灵活性;

5. 监控和保障实时计算系统的稳定性和可靠性,及时处理系统故障和异常,确保数据的实时处理不中断。

岗位要求:

1. 具有3年以上大数据实时计算开发经验;

2. 熟练掌握Flink、Kafka等实时计算和消息队列技术;

3. 熟悉Hadoop生态圈技术,包括HDFS、YARN、HBase、Hive、Zookeeper等;

4. 具备扎实的编程基础,熟练掌握Java、Python等编程语言;

5. 具有良好的问题解决能力和团队协作精神。

公司地点:上海恒隆广场1-1

公司简介:

职位发布者:孙

上海荞麦管理咨询有限公司

融资阶段:

公司规模:20~99人

相似职位: