大数据研发工程师-调度引擎

职位描述:

1、负责开发维护大数据集群的任务调度服务

2、负责开发维护AI训推场景的算力调度服务

3、负责设计调度引擎实现算力调度的统一,包括但不限于单任务DAG级别调度、多任务算力分配、大数据和容器的算力调度以及血缘依赖任务调度

4、负责推进自研调度引擎上线,支撑大数据、容器化、AI场景

岗位要求:

1. 熟悉Yarn、Volcano、K8S scheduler等调度引擎

2. 熟悉kubeflow、Argo等容器化调度引擎

3. 熟悉Spark、Hive等大数据引擎的任务运行逻辑和DAG调度管理代码

4. 熟悉DolphinScheduler、Airflow等任务调度引擎

5. 熟悉AI训练场景的算力调度、推理场景的算力调度者优先

公司地点:北京交道口东大街

公司简介:

职位发布者:赵女士

上海荞麦管理咨询有限公司

融资阶段:

公司规模:20~99人

相似职位: