Fault-tolerant distributed computing in Python based on control flow objects

Abstract

Распределённые вычисления сегодня достаточно востребованы, но текущие решения, которые позволяют в Python их использовать, либо слишком узкоспециализированные, либо не дают полной отказоустойчивости. Целью данной работы было создание интерфейса к новому С++ фреймворку Subordination, в которой последняя проблема была решена. Для достижения низкоуровневой совместимости и адаптации всех сценариев функционирования было реализовано расширение интепретатора Python. Проверка работы получившегося интерфейса проводилась на задаче пакетной обработки данных. Замеры времени работы показали рост производительности с увеличением количества узлов в кластере и возможность обработки различных сценариев сбоя узлов за приемлемое время. Помимо этого, новый интерфейс для отказоустойчивых распределенных вычислений SBN-Python был успешно применён на реальном кейсе компании ООО «Газпромнефть-ЦР» и смог показать свои преимущества по сравнению с текущим решением. По итогу работы был разработан и протестирован высокоуровневый интерфейс на языке Python для нового фреймворка отказоустойчивых распределенных вычислений Subordination. В дальнейшем планируется на его базе реализовать возможность построения распределенных веб-сервисов.

Distributed computing today are fairly in demand, but current solutions that allow them to use them in Python, or too narrowly specialized, or do not give full fault-tolerance. The purpose of this work was to create an interface to a new C++ framework Subordination, in which the last problem was solved. To achieve low-level compatibility and adaptation of all functioning scenarios, the expansion of the Python interpreter has been implemented. Verification of the operation of the developed interface was carried out on a task of batch processing data. The work time measurements showed an growth in performance with an increase in the number of nodes in the cluster and the ability to process various scenarios of node failure for an acceptable time. In addition, the new interface for fault-tolerant distributed computing SBN-Python was successfully applied to the real case of LLC «Gazpromneft Digital Solution» and was able to show its advantages over the current solution. According to the results of the work, a high-level Python language interface was developed and tested for a new framework of fault-tolerant distributed computing Subordination. In the future, it is planned to implement the possibility of building distributed web services at its base.