Implementing UCC discovery algorithm within the Desbordante platform

Abstract

Профилирование данных можно определить как процесс анализа данных, направленный на извлечение метаданных. Уникальные комбинации колонок (UCC) являются важными метаданными, поскольку используются для решениях многих практических задач. Desbordante~--- высокопроизводительный профилировщик данных с открытым исходным кодом, в данный момент не поддерживающий алгоритмы поиска UCC. В настоящей работе выполняется обзор известных алгоритмов поиска UCC. Описывается принцип работы одного из самых эффективных алгоритмов HyUCC. Описывается Desbordante и представляются детали реализации HyUCC в нем. Также описываются способы оптимизаций алгоритма с помощью введения многопоточности. Проводится экспериментальное исследование, по результатам которого делается вывод, что оптимизированная версия реализованного автором алгоритма HyUCC в Desbordante на порядок эффективнее реализации в другом профилировщике Metanome как по времени выполнения, так и по потребляемой памяти.

Data profiling can be defined as the process of data analysis aimed at extracting metadata. Unique column combinations (UCC) are crucial metadata, as they are used to solve many practical problems. Desbordante is a high-performance open-source data profiler that currently does not support UCC discovery algorithms. A review of known UCC discovery algorithms is presented in this work. The principle of operation of one of the most effective algorithms, HyUCC, is described. The Desbordante platform is outlined and the details of implementing HyUCC in it are presented. Additionally, various methods for optimizing the algorithm using multithreading are described. An experimental study is conducted, from the results of which it is concluded that the optimized version of the HyUCC algorithm implemented by the author in Desbordante is more than ten times more efficient than the implementation in another profiler, Metanome, in terms of both run time and memory usage.