Training Multiagent Strategies for the Grid

• Forschungsstelle: BFE
• Projektnummer: SI/502274

Kurzbeschreibung (Deutsch)

Die Stromverteilnetze werden mehr und mehr durch fluktuierende und nicht steuerbare Stromerzeugung, dezentrale Speicher, steuerbare Geräte und Elektrofahrzeuge beeinflusst. Andererseits bieten die Smart-Grids-Technologien die notwendigen Grundlagen, um die sich aus dieser Entwicklung der Netznutzung ergebenden Herausforderungen zu bewältigen. Die räumliche Streuung der Lasten macht diesen Hintergrund geeignet für die Anwendung impliziter, anreizgesteuerter Demand Response Ansätze über automatische Agenten. Die Gestaltung des Verhaltens dieser Agenten ist jedoch sehr schwierig, da sie strategisch auf eine stochastische Umgebung reagieren müssen, deren Zustandsveränderung auch von den Aktionen aller anderen Agenten abhängt, die sowohl einen wirtschaftlichen Vorteil anstreben als auch kollektiv die Verletzung von Netzbeschränkungen vermeiden müssen. In diesem Projekt versuchen wir, die Umgebung als Markov-Spiel zu formalisieren, eine übliche Umgebung für die Anwendung von Reinforcement-Learning-Techniken. Nachfolgend sollen Methoden eingeführt werden, die der neueren KI- und Spieltheorie-Literatur entlehnt sind, wie z.B. Fictitious Play, die (im Gegensatz zu Reinforcement-Learning-Techniken, welche auf Funktionsannäherungen beruhen, wie z.B. Deep Reinforcement Learning) bisher wenig Anwendung im Smart-Grid-Bereich gefunden haben. Das Projekt wird auch Stromflusssimulationen umfassen, welche die trainierten und Algorithmen basierten Agenten und die physikalischen Modelle der von ihnen gesteuerten Geräte einbeziehen, um deren wirklichen Einfluss auf ein zugrunde gelegtes Netz (z. B. auf die Spannung) zu überprüfen. Das sich daraus ergebende Verhalten wird analysiert, um Einblicke in das Verhalten strategischer Agenten zu gewinnen, die in einer komplexen Umgebung mit individuellen (wirtschaftlichen) und gemeinsamen Zielen (Erfüllung der Netzauflagen) interagieren.

Kurzbeschreibung (Englisch)

Electrical distribution systems are more and more populated by non-programmable generation, distributed storage, steerable appliances, and electric vehicles. Still, on the other hand, smart grid technology offers a technological substrate that can be leveraged to tackle the challenges posed by such evolution of usage of the grid. The dispersed nature of the appliances renders this background suitable for applying implicit, incentive-driven Demand Response through automated agents. Designing the behavior of these agents, though, is very difficult, since they must strategically react to a stochastic environment whose state evolution also depends on the actions of all the other agents, both seeking economic advantage and collectively avoiding the violation of grid constraints. In this project, we seek to formalize the environment as a Markov Game, a common setting for applying Reinforcement Learning techniques, and then to introduce in this field methods borrowed from recent AI and game theory literature such as Fictitious Play, that (in contrast to Reinforcement Learning techniques based on function approximation such as Deep Reinforcement Learning) have seen little application in the Smart Grid setting. The project will also involve power flow simulations, including the trained algorithmic agents and the physical models of the apparel they steer to verify their realized influence on an underlying grid (e.g., on voltage). The strategic behavior obtained will be analyzed in search of insight into the behavior of strategic agents interacting in a complex environment with goals both private (economic) and common (satisfaction of the grid constraints).

Kurzbeschreibung (Französisch)

Les réseaux de distribution électrique sont de plus en plus peuplés par la production non programmable, le stockage distribué, les appareils pilotables et les véhicules électriques. D'un autre côté, la technologie des réseaux intelligents offre un substrat technologique qui peut être exploité pour relever les défis posés par une telle évolution de l'utilisation du réseau. La nature dispersée des appareils rend ce contexte propice à l'application de la réponse à la demande, implicite et guidé par des incentives, par le biais d'agents automatisés. Concevoir le comportement de ces agents est cependant très difficile, puisqu'ils doivent réagir stratégiquement à un environnement stochastique dont l'évolution de l'état dépend également des actions de tous les autres agents, à la fois en cherchant un avantage économique et en évitant collectivement la violation des contraintes du réseau. Dans ce projet, nous cherchons à formaliser l'environnement sous la forme d'un jeu de Markov, un cadre commun pour l'application des techniques d'apprentissage par renforcement, puis à introduire dans ce domaine des méthodes empruntées à la littérature récente sur l'IA et la théorie des jeux, comme le jeu fictif, qui (contrairement aux techniques d'apprentissage par renforcement basées sur l'approximation de fonctions, comme l'apprentissage par renforcement profond) ont été peu appliquées dans le cadre des réseaux intelligents. Le projet comprendra également des simulations de flux de charge, incluant les agents algorithmiques entraînés et les modèles physiques des appareils qu'ils pilotent, afin de vérifier leur influence réelle sur un réseau sous-jacent (par exemple, sur la tension). Le comportement stratégique obtenu sera analysé à la recherche d'un aperçu du comportement des agents stratégiques interagissant dans un environnement complexe avec des objectifs à la fois privés (économiques) et communs (satisfaction des contraintes du réseau).

Kurzbeschreibung (Italienisch)

I sistemi di distribuzione elettrica sono sempre più popolati da generazione non programmabile, stoccaggio distribuito, elettrodomestici flessibili e veicoli elettrici. D'altra parte, la tecnologia della Smart Grid offre un substrato tecnologico che può essere sfruttato per affrontare le sfide poste da tale evoluzione dell'uso della rete. La natura dispersa delle apparecchiature flessibili si presta all'applicazione di strategie di Demand Response implicite, eseguite da agenti automatizzati esposti a incentivi economici. Progettare il comportamento di questi agenti, però, è complesso, poiché devono reagire strategicamente a un ambiente stocastico la cui evoluzione di stato dipende anche dalle azioni di tutti gli altri agenti, sia cercando un vantaggio economico sia evitando collettivamente la violazione dei vincoli di rete. In questo progetto, formalizziamo l'ambiente come un Markov Game, un setting comune per l'applicazione di tecniche di Reinforcement Learning, e introduciamo in questo campo metodi presi in prestito dalla recente letteratura su AI e teoria dei giochi come il Fictitious Play, che (in contrasto con le tecniche di Reinforcement Learning basate sull'approssimazione di funzione come il Deep Reinforcement Learning) hanno visto poca applicazione nell'ambiente Smart Grid. Il progetto coinvolgerà anche simulazioni di power flow, inclusi gli agenti algoritmici e i modelli fisici degli apparati che essi gestiscono per verificare la loro influenza su una rete elettrica sottostante (ad esempio, sulla tensione). Il comportamento strategico ottenuto sarà analizzato per comprendere il corretto comportamento degli agenti strategici che interagiscono in un ambiente complesso con obiettivi sia privati (economici) che comuni (rispetto dei vincoli di rete).