Social network analysis using big data technologies

Abstract

В данной работе рассмотрена проблема автоматизирования нахождения связей между соискателями и работодателями на рынке труда. Работа состоит из четырёх частей. В первой рассмотрены основные понятии, метрики и алгоритмы из области социальных графов. Во второй части описываются данные, над которыми проводится анализ, возможные методы их обработки и извлечения полезной информации, а также предлагается структура графа, построенного на этих данных, и алгоритм для нахождения оптимальных связей между соискателями и работодателями. В третьей части детально рассказывается о структуре имеющихся данных, показано, к какому виду их необходимо привести, описана работа с ними в контексте Apache Spark. В четвертой части представлена реализация описанных выше методов и алгоритмов с использованием Apache Spark.In this thesis we consider the problem of automating the process of searching connections between applicants and employers on the labor market. The thesis is divided in four major parts. In the first part we present and discuss main concepts, metrics and algorithms that are used in social graphs area. In the second part we describe the analysed data, possible methods of processing it and useful information extraction methods. Also we consider the structure of the graph which is constructed using these data and the algorithm for searching optimal connections between applicants and employers. In the third part the structure of data is described in detail. We show the expected structure of the data and describe how to use it in Apache Spark. In the fourth part we consider the implementation of the algorithms which were described earlier using Apache Spark.