Numerical comparison of the steepest gradient descent algorithm with Iusem and Svaiter regularised version

Abstract

В работе рассматриваются два алгоритма: классический алгоритм наискорейшего спуска и его регуляризованная версия, предложенная Иусемом и Свайтером. Написана программа, реализующая данные алгоритмы. Также, был проведен вычислительный эксперимент, где учитывались такие характеристики, как: количество итераций, длительность и значения параметров алгоритма при которых достигается итоговое значение. Взят набор тестовых функций для этой цели. Результаты вычислений были зафиксированы и добавлены в таблицы для каждой функции из тестового набора.

Two algorithms were presented in this work: the steepest descent algorithm and its regularized version proposed by Iusem and Svaiter. A program was written that implements both algorithms. Also a computational experiment was carried out, where such measures as: number of iterations, duration and parameter values of the algorithm convergence were taken into account. A set of test functions was taken for this reason. The calculated results were recorded and added to the table for each function from the test suite.