Automation of reconciliation and elimination of duplicates in personal data

Abstract

Работа посвящена решению проблемы поиска и устранения дубликатов в персональных данных. Автором была проведена классификация наиболее частых ошибок в данных на примере данных, предоставленных Медицинским информационно-аналитическим центром. Разработаны и протестированы методы для повышения качества данных и поиска дубликатов, а также определены подходы по их дальнейшей обработке. На основе проведенного исследования был разработан прототип библиотеки, которая позволяет внедрять реализованные методы в сторонние информационные системы.

The study considers the problem of searching and elimination of duplicates in the personal data. The author has classified the most common mistakes in the personal data using the dataset provided by the Medical Information and Analytical Center. The study describes methods for improving the quality of data, methods for searching of duplicates, the results of testing these methods, and approaches to processing of found duplicates. Based on the study, a prototype of library was developed that allows to use the implemented methods in third-party information systems.