Universal initial duplicate search engine for the Duplicate Finder toolkit

Abstract

Документация является неотъемлемой частью любого крупного проекта и тоже требует сопровождения. Одним из наиболее влиятельных факторов усложнения ведения документации является наличие большого количества повторов. Для улучшения документации на основе поиска повторов был разработан инструмент Duplicate Finder. Однако, у него есть ряд проблем с компонентами поиска. В данной работе описывается разработка и реализация унифицированной системы поиска точных и неточных повторов, предназначенной заменить эти компоненты. Сначала проводится анализ инструментов из Duplicate Finder, потом разбираются основные этапы конвейера и приводится описание алгоритмов поиска. Затем проводится тестирование реализованного инструмента на наборе документов, представляющих собой документации разных крупных проектов.

Documentation is a vital part of any big project and it's necessary to maintain its quality. One of the factors that can affect this process negatively is the abundance of duplicates. In order to solve this problem, a tool called Duplicate Finder was implemented. Based on duplicate search, this tool can be used to improve the quality of documentation. However, there are some problems regarding some of the components which are responsible for search. This thesis is focused on developing and implementing universal search engine for exact and near-duplicates. First, tools used in Duplicate Finder are analyzed, then the main parts of pipeline and search algorithms are described. Finally, the implemented tool is tested on a compilation of documents that consists of documentations from different projects.