工作职责
1.Flink实时计算开发能力，基于Flink开发高可靠、高性能的实时数据处理任务，优化Flink作业性能，解决反压、Checkpoint失败、状态恢复等生产环境问题，设计并实现Exactly-Once语义的数据处理链路，保障端到端一致性
2.元数据管理系统，构建元数据采集、实现数据血缘追踪和影响分析功能
3.数据质量体系，设计并实现多维度数据质量检测框架（完整性、准确性、时效性等），开发自动化数据质量监控系统，支持规则配置、异常告警
任职资格
1.编程能力，5年以上Java/Scala或Python开发经验，精通Flink开发（DataStream API/Table API），有生产环境调优经验
2.大数据技术栈，精通Kafka，熟悉消息队列原理与优化，熟练使用Hadoop/Hive/Spark等生态组件
3.工程能力（必备JAVA、Scala或Python代码能力 ），熟悉分布式系统设计，能处理高并发场景，良好的SQL优化和数据建模能力