Constructing characteristic vector of cliques in the web graph and its application to analysis of site structure

Abstract

В данной работе введено и изучено понятие характеристического вектора клик веб-графа. Работа разделена на три части. В первой части для построения веб-графа разработан и реализован алгоритм сбора веб-страниц и гиперссылок между ними. Во второй части работы разработан и реализован алгоритм, позволяющий на основе матрицы смежности искать клики заданной размерности и строить вектора клик веб-графа. В третьей части рассмотрен вопрос о схожести характеристических векторов у сайтов, схожих по тематике. Схожесть проверяется путем проведения кластерного анализа полученных данных.

In this paper, we introduced and studied the notion of characteristic vector of cliques in the web graph. The work is divided into three parts. In the first part for building a web graph is developed and implemented algorithm to collect web pages and hyperlinks between them. In the second part of the work was designed and implemented algorithms based on the adjacency matrix to search cliques, the predetermined dimension, and build vector of cliques in the web graph. In the third part considered the issue of similarity between feature vectors at the sites, similar topics. The similarity is tested by conducting a cluster analysis of the obtained data.