岗位职责:
1、负责分析需求,编写脚本进行数据开发、测试;
2、负责数据库性能监控,代码review及性能瓶颈优化;
3、负责优化调度策略,设计高可靠、可扩展的ETL流程;
4、负责系统版本投产或数据下载服务。数据服务支持,同时优化数据处理性能与存储成本,沉淀技术文档。
任职资格;
1. ETL开发与处理能力,熟练使用 SQL,掌握 Hive、Spark SQL、Flink SQL 等大数据开发语言,能编写高效、稳定的离线任务与实时任务,具备调试与数据核查能力,处理空值、异常、重复、类型不一致等问题;
2. 调度与作业管理能力,熟悉调度工具(如 DolphinScheduler、Airflow、Moia 等),能配置依赖关系、重跑机制、失败告警与资源调度策略;
3.具备良好的沟通能力与团队精神,工作仔细认真,较强的学习能力,并能承担一定的工作压力。