An optimal control problem with random time horizon

Abstract

В ходе проделанной работы была сформулирована новая задача оптимального управления: задача минимизации дисперсии выигрыша, как случайной величины. Значимым результатом является преобразование функционала дисперсии к стандартному виду, позволяющему применить принцип максимума Понтрягина для дальнейшего исследования. При применении принципа максимума к задаче была значительно упрощена система обыкновенных дифференциальных уравнений для сопряженных переменных: был понижен ее порядок. Была решена задача минимизации дисперсии для трех примеров с линейно-квадратичной функцией мгновенного выигрыша и тремя различными видами функции распределения: равномерное распределение, треугольное распределение и усеченное экспоненциальное распределение. Данные распределения были выбраны как наиболее часто использующиеся в моделировании экономических управляемых процессов. Оптимальное управление искалось в классе управлений, линейно зависящих от времени. Во всех трех примерах нулевое управление являлось оптимальным. Была изучена постановка задачи поиска управления, максимизирующего математическое ожидание выигрыша и были исследованы три примера с квадратичной функцией мгновенного выигрыша и тремя различными видами функции распределения: равномерное распределение, треугольное распределение и усеченное экспоненциальное распределение. Была предложена теоретико-игровая постановка задачи, требующая применения описанных в данной работе методов. Данная постановка задачи имеет большие перспективы для дальнейшей работы: рассмотрение кооперативной постановки игры, постановка задачи, в которой один из игроков (одна коалиция) стремится максимизировать математическое ожидание выигрыша, другой игрок (другая коалиция) стремится минимизировать дисперсию. Таким образом, полученная формула для преобразования дисперсии может быть полезна для дискретных задач, стохастических процессов, игр.

In this work a new problem of optimal control have been formulated: the problem of minimizing the variance of the payoff function. Another significant result is the simplification of the functional of variance to the standard form, allowing to apply the Pontryagin maximum principle. When using the maximum principle the resulting system of ordinary differential equations was greatly simplified. The problem of minimizing the variance was solved for three examples with a linear-quadratic utility function and three different types of distribution functions: a uniform distribution, a triangular distribution and a truncated exponential distribution. These distributions were selected as the most typical for the economic modeling of controlled processes. Optimal controls were sought within the class of linear time-dependent functions. In all three examples, the zero control was optimal. The problem of maximizing the expectation of the payoff function was studied for three examples with a linear-quadratic utility function and three different types of distributions: a uniform distribution, a triangular distribution and a truncated exponential distribution. A game-theoretic formulation of the problem requiring the application of the described methods was proposed. This problem has great perspectives for further work: consideration of the cooperative game setting, e.g., the task setting in which one of the players (one coalition) want to maximize the expectation of the payoff function, while the other player (another coalition) want to minimize the variance of the payoff function. Thus, the formula for conversion of variation can be useful for discrete problems, stochastic processes, games.