Software development for investigating web space characteristics of large organisation

Abstract

Для исследования характеристик веб-пространств крупных организаций была разработана программа-краулер для сбора информации с веб-ресурсов. На основе собранных данных был построен веб-граф, вершинами которого являются сайты одной и той же организации, а дугами – связывающие их гиперссылки. В качестве объектов исследования были выбраны веб-пространства 5 университетов России, 5 крупных компаний и 5 научных институтов. Проведено сравнение характеристик построенных веб-графов, таких как компоненты связности, клики, и другие, на основе которых были определены организации с сильно и слабо связанными веб-пространствами.

To study characteristics of web spaces of large organizations, a crawler program was developed to collect information from web resources. Based on the collected data, a web graph, whose vertices are the sites of the same organization, and the arcs are the hyperlinks that link them was built. As the research objects the web space of 5 universities of Russia, 5 large companies and 5 scientific institutes were chosen. A comparison of the characteristics of the constructed web graphs, such as connectivity components, clicks, and others, on the basis of which organizations with strongly and weakly connected web spaces were defined.