The study of the features of additional training of large language models

Abstract

В работе исследованы методы дообучения больших языковых моделей с использованием Retrieval-Augmented Generation (RAG) как альтернативы классическому дообучению. Рассмотрены аспекты интеграции дополнительных данных в модели, основные элементы трансформера и векторные вкрапления для текстовых данных. Проведено исследование влияния предобработки данных на производительность и качество генерации модели. Результаты подтверждают эффективность предложенных методов и их значимость для различных прикладных задач.

The research explores methods for fine-tuning large language models using Retrieval-Augmented Generation (RAG) as an alternative to traditional fine-tuning. It examines aspects of integrating additional data into models, key elements of transformers, and vector embeddings for textual data. The impact of data preprocessing on model performance and generation quality is investigated. The results confirm the effectiveness of the proposed methods and their relevance for various practical applications.