Short term management of hydro-power system using reinforcement learning

Résumé

L’objectif principal de la planification des opérations du réservoir est de déterminer les politiques d’exploitation optimales qui maximisent la valeur attendue des ressources du système sur l’horizon de planification. Ce problème de contrôle devient plus compliqué en raison des différentes sources d’incertitudes existantes que le planificateur de réservoir doit faire face. Habituellement, il existe un compromis entre une valeur d’eau dans le stockage et le marché de l’électricité. La fonction sur le côté de la valeur de l’eau est incertaine et non linéaire dans le problème de la gestion du réservoir et elle dépend fortement du stockage du réservoir et du stockage d’autres réservoirs. La difficilé de la tâche est alors de savoir comment résoudre ce problème multi-réservoir à grande échelle en présence de plusieurs incertitudes. Dans cette thèse, l’intégration d’une nouvelle approche connue sous le nom de apprentissage par renforcement (Reinforcement Learning) est présentée afin de fournir une optimization précise d’un système hydroélectrique à grande échelle. RL est une branche de la method de l’intelligence artificielle qui présente plusieurs avantages clefs dans le traitement de problèmes trop importants pour être manipulés par des techniques de programmation dynamiques traditionnelles. Dans cette approche, un agent essaie d’apprendre continuellement la décision optimale afin de maximiser la fonction de réponse en fonction de l’interaction avec l’environnement. Cette étude présente les concepts majeurs ainsi que les aspects informatiques de l’utilisation RL pour le problème de planification à court terme du système multi réservoir. Le modèle d’optimisation basé sur l’apprentissage de renforcement développé a été mis en place avec succès sur le complexe multi-réservoir d’Hydro-Québec situé à la Rivière Romaine, au nord de la municipalité de Havre-Saint-Pierre sur la rive nord du Saint-Laurent. Ce modèle a ensuite été utilisé pour obtenir des politiques optimales de libération d’eau pour le complexe de réservoir mentionné précédemment. La sortie du modèle conçu a été comparée aux methods d’optimisation classiques connues sous le nom de la programmation dynamique déterministe. Les résultats montrent que le modèle RL est beaucoup plus efficace et fiable pour résoudre les problèmes d’exploitation des réservoirs à grande échelle et peut donner une très bonne solution approximative à ce problème complexe.

Date	2 mai 2018
langue originale	Anglais américain
Établissement diplômant	École de technologie supérieure
Superviseur	Fausto Errico (Directeur(-trice))