Development of a file system with support of data deduplication

Abstract

В работе описана архитектура файловой системы с поддержкой дедупликации на лету: разработаны структуры данных и алгоритмы работы с ними. Дедупликация реализуется на уровне блоков диска путем вычисления двух хэш-сумм. Проведен обзор существующих файловых систем с поддержкой дедупликации, описан интерфейс VFS ядра Linux. А также приведены результаты тестирования разработанной файловой системы.

The paper describes the architecture of the file system with support of inline deduplication: developed data structures and algorithms to work with them. Deduplication is implemented at the disk block level by calculating the two hash sums. The review of existing file systems with support of data deduplication is attended, VFS Linux kernel interface is described. Also the test results are provided.