Supporting the inference of machine learning models for JavaScript virtual machines in KInference

Abstract

В последние годы в индустрии программного обеспечения всё большее внимание уделяется теме машинного обучения. Модели машинного обучения находят применение во всем спектре разрабатываемых приложений, не исключая и сверхпопулярный сектор веб-приложений. Как правило, данные модели сначала обучаются для выполнения конкретной задачи, а затем только запускаются в приложениях. Для запуска моделей, как правило, используются специальные библиотеки для запуска, и одной из таких библиотек является — KInference. Первоначально библиотека KInference поддерживала работу только в JVM проектах, поэтому главной целью данной работы стала поддержка работоспособности KInference и в JavaScript проектах. В данной выпускной квалификационной работе описываются возможные браузерные оптимизации и описывается процесс создания двух реализаций KInference для JavaScript. Как итог, одна из полученных реализаций показала крайне высокую эффективность, что в свою очередь позволило преодолеть барьер времени отклика пользователю, после которого время работы модели становится заметным на задаче автодополнения текста.

In recent years, the software industry has been paying more and more attention to the topic of machine learning. Machine learning models are used across the entire spectrum of applications being developed, including the super-popular web application sector. As a rule, these models are first trained to perform a specific task, and then only inference in applications. To inference models, as a rule, special inference libraries are used, and one of these libraries is KInference. Initially, the KInference library supported work only in JVM projects, so the main goal of this work was to support the workability of KInference in JavaScript projects. This bachelor's thesis describes possible browser optimizations and describes the process of creating two implementations of KInference for JavaScript. As a result, one of the implementations obtained showed extremely high efficiency, which, in turn, made it possible to overcome the barrier of user response time, after which the model running time becomes noticeable on the text completion task.