Investigation of data distribution strategies in distributed storages

Abstract

Современные высоконагруженные приложения хранят данные в распределенных СУБД. Такая архитектура требует согласованности данных, а также важно обеспечить равномерное распределение данных между узлами. Для достижения этих целей используются алгоритмы балансировки данных.

Хеширование является основой практически всех систем балансировки данных. С момента появления классического консистентного хеширования для этой цели было разработано множество алгоритмов.

Одной из целей балансировщика нагрузки данных является обеспечение масштабируемости кластера с данными. Для производительности всей системы крайне важно, чтобы перемещалось как можно меньше записей таблиц во время добавления или удаления узла. Наибольшее влияние на этот процесс оказывает алгоритм хеширования, используемый балансировщиком нагрузки.

В данной работе произведена экспериментальная оценка нескольких алгоритмов хеширования, используемых для балансировки нагрузки. Проведен ряд экспериментов как модельного характера, так с реальными системами. Для оценки производительности алгоритмов был разработан тестовый стенд на основе Unidata MDM - масштабируемого набора инструментов для решения различных задач управления мастер-данными. Для оценки производительности был разработан ряд критериев и проведено несколько экспериментов. По их результатам каждый из рассмотренных алгоритмов был оценен соответствующим образом.

Modern high load applications store data using multiple database instances. Such an architecture requires data consistency, and it is important to ensure even distribution of data among nodes. Load balancing is used to achieve these goals.

Hashing is the backbone of virtually all load balancing systems. Since the introduction of classic Consistent Hashing, many algorithms have been devised for this purpose.

One of the purposes of the load balancer is to ensure storage cluster scalability. It is crucial for the performance of the whole system to transfer as few data records as possible during node addition or removal. The load balancer hashing algorithm has the greatest impact on this process.

In this paper were experimentally evaluated several hashing algorithms used for load balancing, conducting both simulated and real system experiments. To evaluate algorithm performance, a benchmark suite was developed based on Unidata MDM - a scalable toolkit for various Master Data Management (MDM) applications. For assessment were employed three criteria - uniformity of the produced distribution, the number of moved records, and computation speed. Following the results of experiments, was created a table, in which each algorithm is given an assessment according to the abovementioned criteria.