Stability-based approach of cluster number determination

Abstract

В работе предлагается рассматривать неточности исследуемых данных для определения «правильного» числа кластеров. Полагаем, что кластеризация является устойчивой, если группировки возмущенных данных для соответствующего числа кластеров не отличаются по составу в результате многочисленных повторений. Исследуемые данные всегда имеют ошибки различной природы, величины и носят случайный характер. Основным настраиваемым параметром предлагаемых алгоритмов является уровень дисперсии шумов, добавляемых к исследуемым данным. С другой стороны, множество дисперсий отражает уровень ошибок в исследуемых данных. Достоверная, точная и правильная кластеризация состоит из кластеров, которые имеют минимальный уровень зависимости от уровня возмущений.

The studied data inaccuracies can be used for estimation of the appropriate number of clusters in the cluster analysis. The clustering is stable if the grouping results of relevant perturbed data for many simulations do not differ. The explored initial data always have inaccuracies, the nature of this errors have different origin, rate and have the casual character. The algorithms basic parameter represents the variances of the noises added to the data. On the other hand, the variances represent the level of errors in the investigated data. The superior, precise and proper clustering consists of the clusters which have the minimal level of dependence from perturbation level.