The investigation of generative models in the problem of finding the optimal answer to specialized questions with application to StackOverflow

Abstract

С приходом больших генеративных моделей появилась возможность автоматической генерации программного кода. Это позволяет сэкономить время миллионов разработчиков а также автоматизировать процессы разработки. Цель этой работы --- улучшить качество генерации кода для уже существующих генеративных моделей. Для достижения этой цели, предлагается метод дообучения больших языковых моделей, который заключается в добавлении специальных ключевых слов к входу в качестве подсказки. В работе были проведены эксперименты в области ответов на вопросы на платформе Stack Overflow. Эксперименты показали эффективность предложенного метода, а лучшая дообученная модель набрала 0.44 BLEU на публичном датасете по генерации кода CoNaLa, опережая предыдущий лучший результат на 0.10 BLEU.

With the advent of Large Language Models (LLM), it became possible to automatically generate program code. This saves time for millions of developers and automates development processes. The purpose of this work is to improve the quality of code generation for already existing generative models. To achieve this goal, a method for fine-tuning LLMs is proposed, which consists in adding special keywords to the input as a prompt. Further, experiments were conducted in the field of answering questions on the Stack Overflow platform. The experiments showed the effectiveness of the proposed method, and the best fine-tuned model scored 0.44 BLEU on the public code generation CoNaLa dataset, ahead of the previous best result by 0.10 BLEU.