【岗位职责】
1.系统架构设计:参与风控数据系统的整体架构设计,结合公司业务特点与风控需求,构建高可用、高性能、可扩展的数据系统架构,确保系统能够稳定支撑海量数据的处理与分析。
2.系统开发与实现:运用主流开发语言和技术框架,进行风控数据系统的详细设计与编码实现,完成数据采集、清洗、存储、分析及可视化等功能模块的开发。能够搭建后台服务接口,对外提供数据服务。
【任职要求】
1.教育背景:计算机科学、软件工程、数学等相关专业,本科及以上学历。
2.专业技能
1.熟练使用Python,包括Python后台服务开发、使用numpy、pandas等进行数据分析、清洗等,掌握常用设计模式
2.掌握Java服务开发、Spring Boot框架
3.掌握常用的数据库技术,包括关系型数据库(如 MySQL、Oracle)和非关系型数据库(如 MongoDB、Redis),具备数据库设计与优化能力。
4.能够熟练使用Flink、Kafka、Spark等工具进行实时数据处理
5.熟悉大数据生态系统:Hadoop、HBase、Hive、Spark-SQL, MR,有大数据ETL调优经验,能够将SQL转换为PySpark/Spark任务
6.熟悉Hudi、Iceberg、Paimon等开源系统
3.能力素质:具备较强的问题解决能力、逻辑思维能力和学习能力,能够快速应对复杂多变的业务需求;有良好的团队协作精神和沟通能力,能够积极融入团队开展工作。
4.加分项:
a.有实时数仓或数据湖建设经验
b.具备一定的运维知识