Development of algorithm for efficient pipeline execution of batch jobs on computer cluster

Abstract

Проблема надежности и стабильности выполнения вычислений на кластерах становится актуальнее с ростом количества узлов кластера. Существующие методы решения полагаются, в основном, на неэффективный процесс сохранения срезов оперативной памяти на резервируемом хранилище. В действительно больших суперкомпьютерах, такой подход – создание контрольных точек, может быть и вовсе неприемлемым. В данной работе мной рассмотрена модель распределения вычислений – модель актеров, и на ее основе разработан такой алгоритм запуска программ на кластере, который восстанавливает прерванный процесс вычислений без механизма контрольных точек. Алгоритм запуска является частью модели вычислений, которую, для определенности, я назвал "моделью вычислительных ядер". Такое название модель получила по названию своего ключевого компонента. В работе описаны все компоненты новой модели, ее внутренние процессы, преимущества и возможные проблемы.

The problem of reliability and stability of high performance computing parallel jobs become more and more topical with the increasing number of cluster nodes. Existing solutions rely mainly on inefficient process of RAM dumping to stable storage. In case of really big supercomputers, such approach – making checkpoints - may be completely unacceptable. In this study, I examined the model of distributed computing – Actor model - and on this basis I developed an algorithm of batch jobs processing on a cluster that restores interrupted computation state without checkpoints. The algorithm is part of a computing model that, to be specific, I called "computational kernels model", in the name of its core component – computational kernel. This thesis describes all the components of the new model, its internal processes, benefits and potential problems.