Polynomial lookahead. Reformulation of convex optimization problems in terms of hessian

Abstract

Для произвольного градиентного метода мы сталкиваемся с компромиссом между скоростью сходимости и предельным уровнем шума вокруг решения. В данной статье мы вводим новый стохастический градиентный метод, который справляется с данной задачей лучше. В частности, мы покажем, что для квад- ратичной задачи с заданным фиксированным желаемым шумом наш алгоритм сходится быстрее, чем известные стохастические методы. Более того, мы выво- дим сходимость нового метода для общего класса задач выпуклой оптимизации. Теоретические результаты подкрепляются экспериментами.

For any stochastic gradient method one have to come to a tradeoff between rate of convergence and limit noise level near the solution. In this paper we present a new stochastic gradient type method, which solves this problem more efficiently. In particular, we show that for quadratic problems with a fixed desired noise level, this algorithm converges faster than known stochastic methods. Moreover, we give the convergence of the new technique for a general class of convex problems. The practical results confirm the theoretical analysis.