Development of I/O library with transparent data compression and arbitrary access for C language

Abstract

Работа посвящена реализации библиотеки файлового ввода-вывода с произвольным доступом к данным, обеспечивающую прозрачные для пользователя сжатие и распаковку сохраняемых в файл данных, для языка программирования СИ с интерфейсом, аналогичным интерфейсу программирования приложений библиотеки stdio. Библиотека представляет собой обертку над реализациями алгоритмов сжатия данных, предоставляемых библиотеками, выбираемыми пользотелем (программистом). В ходе работы реализован функционал, обеспечивающий хранение данных в виде независимо сжимаемых блоков, произвольный доступ к данным на чтение и изменение. Также была проведена оптимизация операций чтения и записи с помощью реализации механизма кеширования блоков данных. Пользователю предоставлена возможность конфигурирования работы библиотеки, в частности - процедур сжатия, размера кэша стратегии размещения блоков в файле и другие аспекты работы. Были проведены тесты производительности ввода-вывода и сделан вывод о применимости полученного решения на практике.

This paper is devoted to developing of an IO library with transparent data compression and random access for the C programming language with similar interface to standard stdio library. The library would be a wrapper over the implementations of data compression algorithms provided by user chosen compression library. All required functionality including storing data as independently compressed blocks and random access to data for reading and writing was implemented. Also, reading and writing operations were optimized by implementing the caching mechanism for data blocks. User was provided with the ability to configure library workflow by choosing compression procedures, cache size, strategies for placing blocks in a file and other aspects of work. I/O performance tests were carried out. According to the tests, the library can be applied in application programming.