Studying web graph modularity

Abstract

Вебометрика - раздел информатики, посвященный изучению количественных аспектов конструирования и использования информационных ресурсов, структур и технологий применительно к Всемирной паутине. Основными структурами изучения вебометрики являются веб-сайты. Структуру веб-сайта можно представить через его веб-граф - ориентированный граф, вершинами которого являются документы, а дугами гиперссылки между ними. В данной работе решается задача сравнения тематически близких сайтов в плане схожести по раздробленности структуры на сообщества через меру модулярности и анализ векторов модулярности их веб-графов. Для построения веб-графов сайтов была разработана программа-краулер (англ. crawler) RCCrawler. Поэтому в работе также рассматриваются проблемы краулинга - процесса следования по страницам сайта через гиперссылки, полученные с других страниц и внесенные пользователям вручную, с целью сбора определенной информации, статистики или сохранения ресурсов сайта. Для получения окончательных выводов был произведен кластерный анализ построенного множества векторов модулярности.

Webometrics is a branch of Computer Science, dedicated to the study of the quantitative aspects of the design and use of information resources, structures and technologies in relation to the World Wide Web. Main subjects of Webometrics research are websites. The structure of the web site can be represented through it's web graph - directed graph, whose vertices are the documents, and hyperlinks between them are arcs. In this diploma thesis, we solve the problem of comparing thematically close web-sites in terms of being similar in structure division on the communities through modularity and analysis of modularity's vectors of their web graphs. In order to construct the web graphs of web-sites crawler RCCrawler was developed. Therefore, the thesis also discusses the problem of crawling - the process of following through the pages of the site through hyperlinks received from the crawled(already visited) or added manually by the user, in order to collect certain information, statistics or site's resources preservation. In order to get final conclusions cluster analysis of constructed modularity vectors set was performed.