Effective compression of relational databases

Abstract

Изучен общий принцип работы алгоритмов сжатия, на его основе выбрана стратегия сжатия табличных данных по столбцам. Исследовано физическое хранение данных в СУБД PostgreSQL и MySQL. На основании этих знаний реализован алгоритм преобразования данных страниц для повышения коэффициента сжатия. Также проведено теоретическое обоснование предложенного алгоритма на основе исследования информационной энтропии. В больших промышленных БД (например, OLTP) предложенный алгоритм можно успешно применять, потому что в них, как правило, хранятся однообразные данные, и можно с уверенностью предполагать, что бо́льшая часть из них будет преобразована алгоритмом.

The general principle of operation of compression algorithms has been studied, and on its basis a strategy for compressing tabular data by columns has been chosen. The physical storage of data in the PostgreSQL and MySQL DBMS has been studied. Based on this knowledge, an algorithm for converting page data to increase the compression ratio is implemented. Also, a theoretical substantiation of the proposed algorithm based on the study of information entropy was carried out. In large industrial databases (for example, OLTP), the proposed algorithm can be successfully applied, because they usually store uniform data, and it can be safely assumed that most of it will be transformed by the algorithm.