Publication: Modelo multi-agente basado en aprendizaje reforzado profundo aplicado al problema de predespacho de unidades en sistemas hidrotérmicos
Date
2023-08
Authors
Guerra Núñez, Philip Hernán
Journal Title
Journal ISSN
Volume Title
Publisher
Abstract
Este trabajo presenta una metodología para reducir el espacio de soluciones y acelerar los cálculos para el problema de predespacho de unidades (Unit Commitment, UC) en sistemas hidrotérmicos con un horizonte de tiempo de 168 horas badados en programación lineal entera mixta (Mixed-integer linear programming, MILP). La metodología branch-and-bound en problemas de UC basado en MILP enfrenta múltiples desafíos debido al aumento en el ciclaje de unidades a medida que los sistemas eléctricos reducen su huella de carbono. Con la metodología propuesta se mejora el rendimiento de los solvers aplicados al problema UC basado en MILP mediante el uso de cálculos offline y online.
El modelo offline entrena un modelo multi-agente basado en aprendizaje reforzado profundo (Multi-agent deep reinforcement learning, MADRL) utilizando datos históricos de operación del sistema eléctrico para predecir el estado de encendido/apagado de unidades térmicas seleccionadas. El modelo online utiliza las soluciones binarias obtenidas por el modelo offline para resolver un problema de UC con un espacio de soluciones reducido.
El enfoque multi-agente, basados en redes neuronales artificiales (Artificial Neural Networks, ANN) con una arquitectura de Red Convolucional Temporal (Temporal Convolutional Network, TCN), agrupa unidades que se encuentran en la misma región. Se utiliza una función de recompensa acumulativa compartida para ajustar simultáneamente los diferentes pesos de las ANNs durante la fase de aprendizaje.
La efectividad del método propuesto se demuestra utilizando datos reales de operación del sistema eléctrico chileno, logrando tiempos de cálculo significativamente más bajos y un error que se encuentra dentro del margen de integralidad del solver.
Description
Keywords
UNIT COMMITMENT , ARTIFICIAL NEURAL NETWORKS