Optimizing the binpack algorithm by predicting the execution time of Python Code

Abstract

С каждым годом в современных компаниях набирает популярность возможность запуска разнородных задач в гетерогенных кластерах - тут речь может идти про разные виды задач: последовательные пайплайны небольших задач, интерпретируемые как направленные ацикличные графы, регламентные задачи, для которых во время их запуска нужно предоставить ресурсы в рамках SLA, задачи предобработки датасетов, и так далее. Аналогично развитым сейчас планировщикам задач, каждая задача обязана запускаться по какой-то стратегии, которая оптимизирует нужные метрики.

Задачу шедулинга можно определить как поиск оптимального алгоритма для минимизации нужных значений: для бизнеса эта метрика - заполненость кластера, для владельца эксперимента - время ожидания до запуска.

В этой работе мы представим алгоритм запуска задач машинного обучения в кластере, основанный на общеизвестном методе Binpack, но помимо прочего оперирущий ожидаемым временем исполнения задачи, а также сравним его с известными алгоритмами.

Every year, the possibility of launching heterogeneous tasks in heterogeneous clusters is gaining popularity in modern companies - here we can talk about different types of tasks: sequential pipelines of small tasks interpreted as directed acyclic graphs, routine tasks for which resources must be provided within the framework of SLA during their launch, tasks for preprocessing datasets, and so on. Similarly to the task planners that are now developed, each task must be launched according to some strategy that optimizes the necessary metrics.

The shadowing task can be defined as the search for the optimal algorithm to minimize the necessary values: for a business, this metric is the occupancy of the cluster, for the owner of the experiment - the waiting time before launch.

In this paper, we will present an algorithm for running machine learning tasks in a cluster based on the well-known Binpack method, but among other things operating on the expected task execution time, and also compare it with well-known algorithms.