Investigation of classification problem of noisy and polythematic websites

Abstract

В работе описывается исследование задачи классификации веб-сайтов с учётом зашумлённости данных и политематичности. Зашумлённостью в данной работе полагается наличие веб-страниц сайта или их частей, которые слабо относятся к категории веб-сайта или не относятся к ней совсем. Для анализа были выбраны веб-сайты, относящиеся к русскоязычной части научно-образовательного Веба, и учтены их особенности, влияющие на решение поставленной задачи. Предлагаемое решение включает в себя следующие этапы: загрузка и обработка текстовых данных веб-сайтов, выбор характеристик для анализа, построение классификатора на основе выбранного метода машинного обучения. Также приводится архитектура реализованной программы с описанием используемых библиотек и представлены результаты работы на подготовленном наборе тестовых данных. Результаты проведённых экспериментов были анализированы и критически оценены.

The paper describes the research of problem of classification of websites with taking into account data noisiness and polythematism. Noisiness in this work is the presence of web pages of site or parts of them that are poorly related to the category of the website or do not relate to it at all. There were chosen websites related to the Russian-speaking part of the scientific and educational web for analysis, and their features that affect the solution of the task were taken into account. The proposed solution includes the following steps: downloading and processing text data of websites, selecting characteristics for analysis, building a classifier based on the selected method of machine learning. Also, there are presented the architecture of the implemented program, list of used libraries and the results of the work on the prepared set of test data. The results of the conducted experiments were analyzed and critically evaluated.