Applying ML methods to predict failures in data storage clusters

Abstract

Чирков Александр Александрович Использование методов ML для предсказания сбоев в кластерах хранения данных к. ф.-м. н., доцент Графеева Н. Г. Направление математика и механика, кафедра информационно-аналитических систем В настоящее время данные играют все большую роль. Для обработки больших данных обычно применяют методы машинного обучения. В данной работе на основе накопленной информации о событиях в кластерах хранения данных предсказываются сбои. Для этого необходимо уметь находить общую структуру в накопленном списке событий, строить признаки и уметь определять аномальное поведение. Результатом работы является улучшенный алгоритм для нахождения общей структуры событий и его реализация, реализация алгоритмов построения признаков и определения аномального поведения. Все алгоритмы вместе составляют полностью работоспособную систему для предсказания сбоев. Использованных источников: 9 Чирков, А. А. Использование методов ML для предсказания сбоев в кластерах хранения данных: выпускная квалификационная работа: защищена 07.06.2017 / Чирков Александр Александрович. – СПб., 2017. – 31 с. – Библиография: с. 31.

Chirkov Aleksandr Applying ML methods to predict failures in data storage clusters Assoc. Prof. Natalia Grafeeva Mathematics & mechanics, Information Systems and Databases department Nowadays data plays a big role. For big data processing people usually apply machine learning methods. In current work implemented prediction of failures based on stored information about events in data storage clusters. For this purpose, there is a need to find common structure in stored list of events, create features and detect anomalies. Results of work are improved algorithm to find common structure of events and its implementation, implementation of algorithms of features creation and anomalies detection. All algorithms form correct working system to predict failures. Sources cited: 9 Chirkov, A. Applying ML methods to predict failures in data storage clusters: Graduation Project: Defended 07.06.2017 / Chirkov Aleksandr. – St. Petersburg., 2017. – 31 pp. – Bibliography: pp. 31.