职位描述： 1、负责开发维护大数据集群的任务调度服务 2、负责开发维护AI训推场景的算力调度服务 3、负责设计调度引擎实现算力调度的统一，包括但不限于单任务DAG级别调度、多任务算力分配、大数据和容器的算力调度以及血缘依赖任务调度 4、负责推进自研调度引擎上线，支撑大数据、容器化、AI场景 岗位要求： 1. 熟悉Yarn、Volcano、K8S scheduler等调度引擎 2. 熟悉kubeflow、Argo等容器化调度引擎 3. 熟悉Spark、Hive等大数据引擎的任务运行逻辑和DAG调度管理代码 4. 熟悉DolphinScheduler、Airflow等任务调度引擎 5. 熟悉AI训练场景的算力调度、推理场景的算力调度者优先
北京交道口东大街
大数据研发工程师-调度引擎北京NaN数据开发30-45k14薪
上海荞麦管理咨询有限公司