Analysis and design of recommendation system

Abstract

В работе рассматриваются вопросы, связанные с построением автоматизированной системы, формирующей рекомендации фильмов для просмотра на базе определения прогнозных оценок. Используется два подхода, относящиеся к коллаборативной фильтрации: метод k-ближайших соседей и метод SVD, представляющий собой приближение исходной матрицы оценок с использованием сингулярного разложения матрицы с различным рангом приближенной матрицы. Практические результаты получены на данных (разбитых на тренировочные и тестовые в разных пропорциях в процентах: 90/10, 95/5, 98/2) о 963 пользователях и 1682 фильмах. Показано, что метод SVD плохо применим к данной задаче, так как дает большую ошибку (порядка 40%). Метод k-ближайших соседей дает хорошую точность (порядка 85%), но затрачивает много времени на построение прогнозных оценок. В связи с этим метод k-ближайших соседей модифицируется: используется модифицированная мера Эвклида для поиска группы наиболее похожих пользователей только из числа действующих пользователей (поставивших более 200 оценок), что сокращает время построения прогнозов в 3 раза.

This paper presents the issues related to building an automated system that generates film’s recommendation based on the predicting rates. Two approaches of collaborative filtering are used: k-nearest neighbours method and the SVD method, which represents an approximation of the original matrix with the use of the singular value decomposition of matrices with different rank of the approximate matrix. The practical results are obtained on the data (divided into training and test data in different proportions in percentage: 90/10, 95/5, 98/2) about 963 users and 1682 films. It is shown that the SVD method is badly applicable to this situation as it gives a big error (about 40%). K-nearest neighbours method gives a good accuracy (about 85%) but takes long time to build predictive assessments. In this regard, the method of k-nearest neighbours is modified: a modified measure of Euclid is used for finding the group of the most similar users only belong the number of active users (have more than 200 rates) which decrease time of predicting in 3 times.