Investigation of methods for dynamic scaling of virtual cluster

Abstract

Облачные ресурсы стали распространенным инструментов для выполнения научных вычислений во многих областях. Для того, чтобы ускорить процесс получения новых научных результатов, был разработан облачный сервис для выполнения распределенных задач. Он избавляет пользователей от необходимости вручную создавать виртуальный вычислительный кластер или использовать планировщик задач и позволяет им указывать только входные параметры задач при выполнении вычислений. Один из ключевых параметров, с определением которого программная помогает пользователю это конфигурация кластера. Для большинства приложений сложно определить оптимальное количество узлов, потоков и памяти, при которых приложение будет работать быстрее. В этой работе предложен метод для оптимизации конфигурации кластера и описана программная система для запуска HPC приложений в облаке.

Cloud computing became a routine tool for scientists in many domains. In order to speed up an achievement of scientific results a cloud service for execution of distributed applications was developed. It obviates users from manually creating virtual cluster environment or using batch scheduler and allows them only to specify input parameters to perform their computations. One of the key parameters that this service aims to help users with is virtual cluster configuration. For most application it is difficult to tell the optimal number of cluster node, amounts their threads and memory so that application would have a minimal execution time. In this paper an approach for optimization cluster configuration has been proposed and software system for launching HPC application in a cloud has been presented.