CommentUpdater - inconsistent comments detection

Abstract

Работа посвящена исследованию проблемы устаревших комментариев в программном коде. В рамках данной работы разработан плагин для IDE IntelliJ IDEA, CommentUpdater. Это инструмент для обнаружения устаревших комментариев в коде, который подсвечивает устаревшие комментарии в реальном времени в процессе написания кода. Кроме плагина CommentUpdater, в процессе дипломной работы разработан инструмент HeadlessCommentUpdater для сбора и автоматической разметки примеров устаревших и не устаревших комментариев. При помощи HeadlessCommentUpdater был собран и проанализирован набор данных из более чем двух миллионов примеров для задачи обнаружения устаревших комментариев из четырех тысяч проектов с открытым исходным кодом, реализованных на языке Java. Тысяча примеров из собранных была затем размечена вручную и разбита на тридцать семь кластеров. Для повышения качества автоматической разметки устаревших комментариев был разработан метод уточнения с помощью ручной проверки, использующий краудсорсинговую платформу Яндекс.Толока.

The work is devoted to the study of the problem of inconsistent comments in the source code. As part of this work, a plugin for the IDE IntelliJ IDEA, CommentUpdater, was developed. It is an inconsistent comment detection tool that highlights inconsistent comments in real time as you write code. In addition to the CommentUpdater plugin, in the course of the thesis, the HeadlessCommentUpdater tool was developed to collect and automatically label examples of inconsistent and consistent comments. HeadlessCommentUpdater was used to collect and analyze a data set of more than two million examples for the task of detecting obsolete comments from four thousand open source Java projects. The thousand examples collected were then labeled by hand and divided into thirty-seven clusters. To improve the quality of automatic markup of obsolete comments, a manual verification method was developed using the Yandex.Toloka crowdsourcing platform.