A platform for high-performance discovery of dependencies in databases

Abstract

На тему автоматического поиска различных видов зависимостей в базах данных ведётся множество исследований. Задача ставится следующим образом: найти все зависимости в необработанном датасете. Подобная задача возникает в бизнес и исследовательских приложениях и нацелена на обнаружение закономерностей в данных.

Metanome является платформой с передовыми возможностями для оценки производительности и разработки новых алгоритмов поиска зависимостей, будучи первым проектом, объединившим в себе большинство существующих алгоритмов. Однако, Metanome является скорее исследовательским прототипом, не подходящим для коммерческого использования. Основной причиной выступает выбор языка Java и сопутствующая ограниченность возможностей для оптимизации.

В данной работе акцент сделан на производительность, и представлена платформа Desbordante, предназначенная для высокопроизводительного поиска функциональных зависимостей. Кроме того, в работе поставлено несколько экспериментальных исследовательских вопросов и проведены соответствующие эксперименты. Точнее говоря, было изучено 1) превосходит ли производительность предложенной реализации производительность существующей, 2) возможно ли улучшить производительность существующего решения с помощью простых действий, 3) какие причины лежат в различии уровней производительности и 4) какие преимущества ожидают пользователя при использовании предложенного решения.

Automatic discovery of various types of database dependencies (functional, inclusion, matching, and others) is a topic that has received a great deal of attention in recent years. The problem is formulated as following: having an unexplored dataset, find all dependencies that hold on this data. Such problem formulation arises in business and scientific applications and is aimed at the discovery of patterns in data.

Metanome is a pioneering platform which was used to benchmark existing and develop new dependency discovery algorithms. It is notable since it was the first attempt to unify all existing discovery algorithms inside a single suite. However, it should be considered a research prototype rather than a system ready for industrial use. The core reason for this is the choice of the implementation platform (Java) and the absence of optimizations. In this paper we address the problem of high-performance dependency discovery. We present Desbordante — a platform that is intended to make the most of the available computational resources and thus to be more suitable for industrial use.

Finally, we evaluate our system experimentally and pose a number of research questions related to the obtained performance and justify its necessity. More precisely we examine 1) whether the Java implementation is indeed worse than the C++ one, 2) is it possible to use simple tricks to improve Metanome’s performance, 3) what are the exact reasons behind the performance gap, and 4) what are the user-facing benefits of switching the implementations.