On the application of outliers detection methods to the problem of studying oil samples

Abstract

Работа посвящена статистическому анализу проб нефти на предмет обнаружения выбросов и дальнейшей кластеризации проб. Проведен корреляционный анализ данных, описан характер распределения проб. С помощью модифицированного метода Тьюки определены подходящие границы для обнаружения и удаления выбросов. Для снижения размерности данных использован метод PCA и Feature Agglomeration. Кластеризация проведена методом k-means, для оценки качества рассмотренных алгоритмов введена метрика оценки кластеризации Rand. Для реализации данной прикладной задачи написана программа на языке Python.

The work is devoted to statistical analysis of oil samples for outliers detection and further clustering of samples. The correlation analysis of data has been carried out and the nature of sample distribution has been described. Using the modified Tukey method, suitable boundaries for outliers detection and removal have been defined. PCA and Feature Agglomeration methods have been used to reduce the data size. Clustering was carried out by the k-means method, to assess the quality of the considered algorithms the Rand clustering assessment metric has been applied. For realization of this applied task Python program has been developed.