Entity resolution for knowledge graph of business entities

Abstract

В данной работе рассмотрены задачи, связанные с обработкой большого графа знаний об организациях. В рамках первой задачи был разработан подход к обогащению сущностей атрибутами и связыванию информации о бизнесах из разных источников между собой. Для этого использовался подход компонент связности графа, которые обрабатывались независимо на разных узлах кластера. Во второй задаче была рассмотрена проблема автоматического подтверждения или отвержения гипотез о связи новых клиентов с контрагентами. Была поставлена задача бинарной классификации, рассмотрены различные модели и произведена оценка качества лучшей из них. В третьей задаче был рассмотрен вопрос выделения нетривиальных под-кластеров внутри компонент связности графа, для решения которого был использован метод вложения графов в многомерное векторное пространство, а также алгоритм кластеризации DBSCAN.

In this paper, we consider the tasks associated with the processing of a large graph of knowledge about organizations. As part of the first task, an approach was developed for enriching entities with attributes and linking information about businesses from different sources to each other. For this, the approach of graph connectivity components was used, which were processed independently at different nodes of the cluster. In the second task, the problem of automatic confirmation or rejection of hypotheses about the relationship of new customers with counterparties was considered. The task of binary classification was set, various models were considered and the quality of the best of them was assessed. In the third problem, the issue of identifying non-trivial sub-clusters within the connected components of a graph was considered, for which the method of embedding graphs in a multidimensional vector space was used, as well as the DBSCAN clustering algorithm.