Application of reinforcement learning algorithms in managing renewable energy systems

Abstract

В данной работе рассматривается проблема оптимального планирования зарядки и разрядки аккумуляторной батареи, а также обмена с энергетическим рынком с целью минимизации финансовых затрат на электроэнергию при условиях соблюдения ограничений системы, емкости накопителя и соблюдения энергетического баланса. Исторические данные для задачи были предоставлены в открытый доступ инжиниринговой компанией Schneider Electric в рамках соревнования Power Laws, в котором участники продемонстрировали методы, основанные на детерминистических подходах. Это не позволяет применять их в рамках реальных индустриальных задач, а также имеет серьезный недостаток в виде накопления ошибок при наличии плохих прогнозных значений, содержащихся в исторических данных. Автором предлагается альтернативный подход к решению задачи, основанный на методах обучения с подкреплением (RL), главным преимуществом которых, помимо возможности работать с множеством неопределенностей и обучения на эмпирических моделях рассматриваемой проблемы, является умение агента адаптироваться в среде при изменении входных данных и переобучаться в случае возникновения непредвиденных ситуаций. В результате работы было произведено обучение 3 моделей обучения с подкреплением с использованием интерфейса Ray: проксимальная оптимизация политики (PPO), актор-критик асинхронного преимущества (A3C), градиент политики (PG). Автором была выполнена визуализация процесса обучения используемых алгоритмов, проведено сравнение итоговых затрат по сравнению с результатами смешанного целочисленного линейного программирования (MILP), сделаны соответствующие выводы касательно преимуществ обучения с подкреплением при решении задач планирования батареи в энергосистемах перед детерминистическими подходами.

This paper considers the problem of optimal planning for charging and discharging the battery, as well as the exchange with the energy market in order to minimize the financial costs of electricity, subject to the limitations of the system, the storage device and the observance of the energy balance. Historical data for the problem was made publicly available by the engineering company Schneider Electric as part of the Power Laws competition, in which participants demonstrated methods based on deterministic approaches. This does not allow them to be applied to real industrial problems, and also has a serious drawback in the form of error accumulation in the presence of bad predictive values ​​contained in historical data. The author proposes an alternative approach to solving the problem, based on reinforcement learning (RL) methods, the main advantage of which, in addition to the ability to work with many uncertainties and learning from empirical models of the problem under consideration, is the ability of the agent to adapt to the environment when the input data changes and retrain in case of unforeseen situations. . As a result of the work, 3 reinforcement learning models were trained using the Ray interface: Proximal Policy Optimization (PPO), Asynchronous Advantage Actor-Critic (A3C), Policy Gradient (PG). The author visualized the learning process of the algorithms used, compared the total costs compared to the results of mixed integer linear programming (MILP), made appropriate conclusions regarding the advantages of reinforcement learning in solving battery planning problems in power systems over deterministic approaches.