高级大数据平台开发工程师

职位描述

●参与自研类DataWorks平台的架构设计和研发落地,确保平台的高可用和扩展性等。

●负责核心功能模块的开发和维护,包括统一数据集成(实时、离线)、数据研发(实时、离线)、统一作业调度(调度引擎、调度编排)、数据分析(adhoc、batch、混合引擎)、数据地图(元数据采集、全链路血缘)、数据治理(数据质量评测体系,质量指标、监控告警)等

岗位要求

●计算机科学、软件工程或相关专业本科及以上学历。

●互联网3-5年以上大数据平台开发经验(熟悉DataWorks平台或类似数据平台,了解数据开发用户视角,如IDE体验、调试效率)。

●熟练掌握Java、Python、SQL等编程语言。

●熟练掌握SpringCloud分布式微服务技术栈,包括:SpringBoot、Redis、MQ/Kafka、MySQL/PostgreSQL等。

●熟练掌握Hadoop大数据技术栈特性和应用,包括:HDFS/MR/Yarn、Hive、HBase、Spark、Flink、Presto/ClickHouse/Doris等。

●熟悉Ad-Hoc(即席)、Batch(批)、Stream(流)、数据湖等大数据开发框架,了解技术原理和应用场景,具备开发实践经验。

●熟悉DolphinScheduler/Airflow等大数据调度框架,了解技术原理和应用场景,具备开发实践经验。

加分项:

●有Copilot辅助编程的提效经验。

●有Jupyter、Python数据分析工具集成(如Pandas、NumPy、Scikit-learn)/机器学习/数据治理体系/数据分析知识、实际项目经验者优先。

公司地点:上海浦东新区由由世纪广场1

公司简介:

嘉银科技是一家从事金融科技创新服务的企业,利用创新科技缩短用户与金融服务的距离,为用户提供高效智能的普惠金融服务。2019年5月10日,嘉银科技在美国纳斯达克成功上市,股票代码:JFIN。

嘉银科技长期专注于大数据分析和金融科技研发,重点构建以大数据驱动为核心理念的云服务平台和金融风控体系。以互联网技术作为金融创新的核心引擎,用科技创新为金融效率插上翅膀,为企业和消费者提供高效、智能的普惠金融服务和解决方案,帮助更多人享受到优质的金融服务,实现梦想。

职位发布者:范经理

上海嘉银科技股份有限公司

融资阶段:

公司规模:20~99人

相似职位: