Improvement of quality of search results ranking by click models analysis

Abstract

Поисковые системы используют данные о кликах пользователей для того, чтобы оценивать и улучшать качество информационного поиска. Клики могут дать представление о том, какие результаты заинтересовали пользователя, а какие — нет. Чтобы понять и описать поведение пользователей были предложены кликовые модели. Обученная кликовая модель помогает лучше понять, на какие ссылки, представленные в результатах поискового запроса, кликают пользователи, позволяет предсказать клики и т. д. В данной работе рассматривается предположение о том, что использование нескольких кликовых моделей, обученных на группах пользователей, вместо одной модели для всех пользователей улучшит качество ранжирования результатов поисковой выдачи. С помощью метода k-средних проведена кластеризация пользователей. На полученных кластерах и на всех пользователях сразу обучены кликовые модели: RCM, RCTR, DCTR, CM, DCM, SDBN. Для каждой модели на всех группах пользователей посчитаны логарифм правдоподобия, перплексия и условная перплексия. Результаты показали, что качество кликовых моделей выше в случае кластеризации пользователей. Выдвинутое предположение оказалось верным.

Search engines use data about clicks of users in order to evaluate and improve the quality of information search. Clicks can give an idea of the results interesting to the user. Click models were proposed in order to understand and describe user behavior. A trained click model helps to better understand which links are clicked by users, allows to predict clicks, and so on. In this paper we consider the assumption that the use of several click models, trained on user groups, instead of one model for all users, will improve the quality of search results ranking. Clustering of users is carried out using the k-means method. On the clusters and on all users, click models RCM, RCTR, DCTR, CM, DCM, SDBN were trained. For each model, the log-likelihood, perplexity and conditional perplexity are calculated on all user groups. The results showed that the quality of click models is higher in the case of clustering users. The proposed assumption was correct.