Development of recommendation system based on extraction and analysis of custom interests

Abstract

Работа посвящена разработке рекомендательной системы методом фильтрации на основе содержания, которая позволяет автоматически извлекать интересы пользователя из написанных им текстов и составлять список рекомендаций документов с учетом анализа временных интересов и их семантической близости. В работе использовались данные с сайта livejournal.com, включавшие 87597 пользователей с 2042011 постами и 522243 уникальными ключевыми словами к ним. В ходе выполнения работы были изучены и построены политематические классификаторы Label Powerset, Classifier Chains и ML-knn, проведено сравнение и выбран наилучший, определены лучшие базисные классификаторы для методов Label Powerset и Classifier Chains, разработан и применен алгоритм выделения временных интересов, собран набор данных и подобраны параметры для обучения модели word2vec. Был разработан алгоритм построения рекомендательной системы, и проведено тестирование на 5000 пользователях, и с помощью парного t-теста Стьюдента статистически доказано улучшение качества рекомендаций при использовании информации о временных свойствах интересов и семантической близости между ними.

This paper presents a method of development of recommender system using content-based filtering that allows automatically determine user’s interests and creates recommendation list of documents based on temporary interests and their semantic similarity. Research was conducted using a dataset from the livejournal.com website that included 87597 users with 2042011 posts and 522243 unique keywords. During the work following multi-label classifiers were built and compared: Label Powerset, Classifier Chains and ML-knn, and the best one was chosen. Also best basic classifiers for Label Powerset and Classifier Chains classifiers were determined, and an algorithm for temporary interests extraction was created and described. A dataset was constructed and parameters were found for training word2vec model. An algorithm of building a recommender system was created and described and a paired t-test on 5000 users was conducted to prove the increasing of recommendation quality while using the information of temporary interests and their semantic similarity.