lmplementation of efficient graph functional dependency validation algorithm on Desbordante platform

Abstract

Графовые функциональные зависимости (Graph Functional Dependencies, GFD) - недавно разработанная концепция, направленная на поиск топологических структур в графах и функциональных зависимостей между атрибутами. Процесс проверки, удовлетворяет ли данная GFD конкретному графу, называется проверкой GFD. В этой очень дорогостоящей задаче с точки зрения вычислений нахождение подходящих подграфов составляет около 99% общего времени выполнения. Авторы концепции первоначально предложили параллельную схему (алгоритм), ориентированную конкретно на кластеры высокопроизводительных серверов. Цель этой работы заключается в том, чтобы открыть доступ к проверке GFD для более широкой аудитории, сделав возможным её запуск на компьютере потребительского класса. Первоначальные эксперименты показали, что существующий алгоритм не является оптимальным для этих целей. Поэтому был предложен алгоритм проверки GFD, который использует недавно разработанный метод поиска подграфов. В отличие от параллельной схемы, он является последовательным и работает на всем графе. Его новизна заключается в использовании Compact-Path Index (CPI). В работе производится его сравнение с наивным последовательным алгоритмом и параллельной схемой, вычисляется время выполнения и максимальное потребление памяти. Предложенная реализация алгоритма проверки GFD имеет открытый исходный код. Насколько известно, это единственная общедоступная реализация алгоритма для этой задачи. Эксперименты на реальном графе продемонстрировали до трёх раз большую производительность (в среднем 2,6 раза) по сравнению с параллельной схемой. Использование нового алгоритма поиска подграфов также снизило потребление памяти в пять раз.

Graph functional dependencies (GFD) are a recently-developed concept aimed at capturing both topological structures in graphs and functional dependencies between attributes. The process of verifying whether a given GFD holds over a particular graph is referred to as GFD validation. In this very computationally expensive problem, locating suitable subgraphs accounts for about 99% of the total run time. The concept's authors originally proposed a parallel scheme (algorithm), targeting specifically clusters of high-performance servers. The goal of this work is to open GFD validation to a broader public by making it possible to run it on a consumer class PC. Initial experiments demonstrated that the existing algorithm may not be optimal for these purposes. Therefore, we propose the GFD validation algorithm that employs a recently developed graph matching technique. In contrast to the parallel scheme, it is sequential and operates on the entire graph. Its novelty lies in the use of the Compact Path Index (CPI). The work compares it with the naive sequential algorithm and the parallel scheme, evaluating run times and peak memory consumption. The proposed implementation of the GFD validation algorithm is open-source. As far as is known, this is the only publicly available implementation of an algorithm for this problem. Experiments on a real-life graph demonstrated up to three times performance (2.6x on average) improvement over the parallel scheme. Employing the new subgraph matching algorithm also reduced memory consumption by five times.