岗位职责:
1. 参与实时计算平台、实时数仓开发平台的建设;
2. 在阿里云大数据平台上开发基于Kafka和Flink构建实时数据处理流水线,实现数据的实时清洗和转换;
3. 对Flink任务进行性能调优,提高数据处理的吞吐量和延迟,优化资源利用率;
4. 结合实时计算的需求,优化整体大数据架构,提高系统的扩展性和灵活性;
5. 监控和保障实时计算系统的稳定性和可靠性,及时处理系统故障和异常,确保数据的实时处理不中断。
岗位要求:
1. 具有3年以上大数据实时计算开发经验;
2. 熟练掌握Flink、Kafka等实时计算和消息队列技术;
3. 熟悉Hadoop生态圈技术,包括HDFS、YARN、HBase、Hive、Zookeeper等;
4. 具备扎实的编程基础,熟练掌握Java、Python等编程语言;
5. 具有良好的问题解决能力和团队协作精神。