Tiered file system: Optimization of architecture and management algorithms

Abstract

С точки зрения бизнеса, автоматизированное многоярусное хранение данных позволяет уменьшить расходы на хранение данных, сохраняя при этом производительность системы хранения данных на приемлемом уровне. Целью данной магистерской диссертации является проектирование и реализация многоярусной файловой системы, конфигурируемой с помощью политик, имеющей два яруса, одним из которых является POSIX-совместимая файловая система (локальная дисковая или распределенная), а другим - облачное объектное хранилище. В ходе работы, была разработана многоярусная файловая система, именуемая CloudTieringFS. Основной сценарий ее использования это массовое хранение файлов. CloudTieringFS использует POSIX-совместимую файловую систему как постоянное хранилище для метаданных и как «вместительный кэш» для данных. В качестве постоянного хранилища для данных используется облачное объектное хранилище. CloudTieringFS позволяет задавать правила для миграции данных с помощью политик, отказоустойчива и сочетается почти со всеми POSIX-совместимыми файловыми системами. Эти характеристики в совокупности являются основным достоинством предлагаемой файловой системы. Диссертация состоит из четырех глав. В первой главе приведены концепции, необходимые для понимания предметной области, а также выполнен обзор похожих решений и выявлены проблемы, возникающие при разработке многоярусных файловых систем, в которых ярусами являются файловая система и облачное объектное хранилище. Во второй главе сделан обзор некоторых распределенных файловых систем. Выявлен ряд свойств распределенных POSIX-совместимых файловых систем, влияющих на проектирование и реализацию многоярусной файловой системы. В третьей главе установлены требования и приведен подробный проект многоярусной файловой системы. В последней, четвертой, главе выполнена оценка производительности файловой системы CloudTieringFS в одноузловой и многоузловой конфигурациях. В одноузловой конфигурации файловая система BtrFS играла роль быстрого яруса, а в многоузловой конфигурации роль быстрого яруса играла распределенная параллельная файловая система OrangeFS. Проведенное исследование предлагает результаты, которые выглядят многообещающе. Среднее время доступа к файлу, для выбранного шаблона доступа к файловой системе, незначительно отличается от среднего времени доступа к файлу на файловой системе, использованной в качестве быстрого яруса. Подводя итоги, можно утверждать, что правильно подобранные политики миграции данных позволяют сохранить производительность многоярусной файловой системы на уровне с файловой системой, используемой в качестве быстрого яруса.

Automated storage tiering, from the business point of view, allows for a considerable cut of data storage costs while preserving the storage system performance at an acceptable level. The aim of this master’s thesis is to design and implement a tiered policy-based file system having, as tiers, a local disk or distributed POSIX-conformant file system and cloud object storage. As a result of this study, the tiered file system called CloudTieringFS, has been devised. The primary use case of CloudTieringFS is mass file storage. CloudTieringFS uses a POSIX-conformant file system as a permanent storage for metadata and as “capacious cache” for data and cloud object storage as a permanent storage for data. The key advantage of CloudTieringFS is simultaneous provision of features such as configurability of data migration via policies, underlying file system-agnosticism, and fault tolerance. The study is divided into four chapters. In the first chapter, the background required to familiarize the reader with the automated storage tiering in an environment that includes a file system and cloud object storage is given. A survey of similar solutions is provided and common problems to be overcome by the tiered file system developer are identified. The second chapter surveys the selected distributed file systems and compares some of their features important for design and implementation. The third chapter summarizes requirements for the tiered file system and proposes a detailed design for such a system. In the last chapter, the performance of CloudTieringFS is evaluated in single- and multi-node configurations with BtrFS and OrangeFS file systems correspondingly. The performance results of CloudTieringFS are promising. The average file access latency for the selected file access pattern differs insignificantly versus the file access latency of the underlying file system. Summarizing, it can be argued that properly adjusted automated storage tiering policies can preserve the underlying file system’s performance with neglectable overheads while reducing data storage costs.