Probabilistic modeling in document classification

Abstract

В настоящее время большой популярностью пользуются различные статистические методы обработки текста, в частности, вероятностное тематическое моделирование. В данной работе рассматриваются модели, использующиеся в задачах классификации коллекций документов. Выделена проблема отсутствия готовой качественной обучающей выборки для множественной классификации. Предложено решение в виде создания обучающей выборки путем нечеткой кластеризации. Описан алгоритм построения модели классификации коллекции документов с обучением на выборке, созданной в результате предложенного решения.

Currently, various statistical methods of text processing are very popular, especially, probabilistic topic modeling. In this paper, we consider the models used in the classification of document collection. The problem of the lack of a ready-made high-quality training sample for multiple classification is highlighted. A solution is proposed in the form of creating a training sample by soft clustering. An algorithm for constructing a classification model for a collection of documents with training on a sample created as a result of the proposed solution is described.