岗位职责: 1.设计和实施符合国产信创要求的数据采集策略,包括实时同步和日终采集,确保数据的全面性和时效性。 2.管理和优化使用OB数据库的数据处理流程,包括数据清洗、转换、加载和标准化,以提高数据质量。 3.负责基于Redis集群的数据存储解决方案的设计和实施,确保数据的安全性、可靠性和高效访问。 4.监控和优化数据查询性能,确保客户和机构能够快速获取所需信息。 5.与业务团队合作,根据业务需求调整和优化数据采集和处理流程。 6.负责流批一体数据处理架构的实施,确保实时和批量数据处理的高效性和一致性。 7.利用Flink CDC技术实现变更数据捕获,以支持实时数据同步和分析。 8.与行方的湖仓进行技术对接,确保数据流畅、安全地在湖仓一体架构中流动。 9.设计和维护基于Kafka的消息队列系统,以支持高吞吐量的数据流处理和实时数据传输。 岗位要求: 1.计算机、信息技术、数据分析等相关专业。 2.5年以上数据处理相关经验,有国产信创技术背景者优先。 3.熟悉OB数据库,具有丰富的数据库设计和优化经验。 4.有使用Flink CDC技术进行变更数据捕获的经验。 5.熟悉湖仓一体技术,有实际的实施和优化经验。 6.强大的项目管理能力和跨部门沟通协调能力。 7.具备与行方湖仓对接的经验,了解湖仓一体架构的数据流动和管理。 8.熟悉消息队列技术,特别是Apache Kafka,包括其部署、配置、优化和故障排除。
北京北京银行科技研发中心北京顺义区北京银行科技研发中心1层
大数据处理工程师(Flink )北京NaN数据仓库15-25k12薪
神州数码信息服务集团股份有限公司北京分公司