职位描述:
1、负责开发维护大数据集群的任务调度服务
2、负责开发维护AI训推场景的算力调度服务
3、负责设计调度引擎实现算力调度的统一,包括但不限于单任务DAG级别调度、多任务算力分配、大数据和容器的算力调度以及血缘依赖任务调度
4、负责推进自研调度引擎上线,支撑大数据、容器化、AI场景
岗位要求:
1. 熟悉Yarn、Volcano、K8S scheduler等调度引擎
2. 熟悉kubeflow、Argo等容器化调度引擎
3. 熟悉Spark、Hive等大数据引擎的任务运行逻辑和DAG调度管理代码
4. 熟悉DolphinScheduler、Airflow等任务调度引擎
5. 熟悉AI训练场景的算力调度、推理场景的算力调度者优先