Gradient descent methods based on the Runge — Kutta method with Lagrange — Buhrman decomposition

Abstract

Выпускная квалификационная работа посвящена разработке и анализу новых численных методов оптимизации на основе метода Рунге — Кутты с разложением Лагранжа — Бюрмана. В настоящее время методы оптимизации широко используются во многих областях науки и техники. Эти методы активно применяются в задачах машинного обучения, теории управления и линейной алгебры. На практике большинство задач оптимизации можно решить только численно. В связи с этим разработка и исследование численных методов оптимизации являются актуальными задачами в вычислительной математике. Целью работы является разработка и анализ новых численных методов минимизации выпуклых функций с использованием методов Рунге — Кутты с разложением Лагранжа — Бюрмана. Для достижения поставленной цели необходимо было решить следующие задачи: построение новых градиентных методов; получение условий сходимости; программная реализация и решение тестовых задач; сравнение построенных методов с другими известными методами оптимизации. Работа состоит из введения, трех глав, заключения и списка использованной литературы. В первой главе приводится обзор литературы. Рассмотрена аналогия между градиентным спуском и задачей Коши, а также осуществлен обзор статей, связанных с тематикой работы. Представлено семейство методов Рунге — Кутты и методы, основанные на разложении Лагранжа — Бюрмана. Сформулированы цель и задачи работы. Во второй главе приводится построение и анализ новых градиентных методов минимизации, сформулированы и доказаны теоремы о сходимости для случая квадратичной и возмущенной квадратичной функции. В третьей главе проводится сравнение построенных методов с другими известными методами оптимизации на примере задач из различных областей. По результатам расчетов показано, что построенные методы могут сходиться быстрее, чем широко используемые методы минимизации выпуклых функций. В заключении приведены основные результаты работы и выводы.

The graduate work is devoted to the development and analysis of new numerical optimization methods based on the Runge — Kutta method with Lagrange — Burmann decomposition. Currently, optimization methods are widely used in many fields of science and technology. These methods are actively used in machine learning, control theory, and linear algebra problems. In practice, most optimization problems can only be solved numerically. In this regard, the development and research of numerical optimization methods are urgent tasks in computational mathematics. The aim of the work is to develop and analyze new numerical methods for minimizing convex functions using Runge — Kutta methods with Lagrange — Burmann decomposition. To achieve this goal, it was necessary to solve the following tasks: building new gradient methods; obtaining convergence conditions; software implementation and solving test problems; comparing the constructed methods with other known optimization methods. The work consists of an introduction, three chapters, a conclusion and a list of references. The first chapter provides an overview of the literature. The analogy between gradient descent and the Cauchy problem is considered, as well as a review of articles related to the topic of the work. A family of Runge — Kutta methods and methods based on Lagrange — Burmann decomposition are presented. The purpose and objectives of the work are formulated. The second chapter provides the construction and analysis of new gradient minimization methods, formulated and proved convergence theorems for the case of quadratic and perturbed quadratic functions. In the third chapter, the constructed methods are compared with other well-known optimization methods using the example of problems from various fields. Based on the results of calculations, it is shown that the constructed methods can converge faster than widely used methods for minimizing convex functions. In conclusion, the main results of the work and conclusions are presented.