Code completion using neural language models

Abstract

В данной дипломной работе рассмотрено расширение языковых нейросетевых моделей, созданных для обработки натурального языка, на задачу автодополнения кода. Ключевым моментом является не только оправданность использования этих моделей, но и применение BiSon модели , изучающей влияние замаскированных токенов друг на друга, которое дало большое положительное влияние на конечный результат.

In this bachelors work considered the question of the extension of linguistic neural network models, created for processing a natural language, to the problem of code completion. The key point is not only the justification of the use of these language models, but also the application of the BiSon model, which studies the influence of disguised tokens on each other, which had a large positive impact on the final result.