Kurzbeschreibung
(Deutsch)
|
Die Stromverteilnetze werden mehr und mehr durch fluktuierende und nicht steuerbare Stromerzeugung, dezentrale Speicher, steuerbare Geräte und Elektrofahrzeuge beeinflusst. Andererseits bieten die Smart-Grids-Technologien die notwendigen Grundlagen, um die sich aus dieser Entwicklung der Netznutzung ergebenden Herausforderungen zu bewältigen. Die räumliche Streuung der Lasten macht diesen Hintergrund geeignet für die Anwendung impliziter, anreizgesteuerter Demand Response Ansätze über automatische Agenten. Die Gestaltung des Verhaltens dieser Agenten ist jedoch sehr schwierig, da sie strategisch auf eine stochastische Umgebung reagieren müssen, deren Zustandsveränderung auch von den Aktionen aller anderen Agenten abhängt, die sowohl einen wirtschaftlichen Vorteil anstreben als auch kollektiv die Verletzung von Netzbeschränkungen vermeiden müssen. In diesem Projekt versuchen wir, die Umgebung als Markov-Spiel zu formalisieren, eine übliche Umgebung für die Anwendung von Reinforcement-Learning-Techniken. Nachfolgend sollen Methoden eingeführt werden, die der neueren KI- und Spieltheorie-Literatur entlehnt sind, wie z.B. Fictitious Play, die (im Gegensatz zu Reinforcement-Learning-Techniken, welche auf Funktionsannäherungen beruhen, wie z.B. Deep Reinforcement Learning) bisher wenig Anwendung im Smart-Grid-Bereich gefunden haben. Das Projekt wird auch Stromflusssimulationen umfassen, welche die trainierten und Algorithmen basierten Agenten und die physikalischen Modelle der von ihnen gesteuerten Geräte einbeziehen, um deren wirklichen Einfluss auf ein zugrunde gelegtes Netz (z. B. auf die Spannung) zu überprüfen. Das sich daraus ergebende Verhalten wird analysiert, um Einblicke in das Verhalten strategischer Agenten zu gewinnen, die in einer komplexen Umgebung mit individuellen (wirtschaftlichen) und gemeinsamen Zielen (Erfüllung der Netzauflagen) interagieren.
|
Kurzbeschreibung
(Englisch)
|
Electrical distribution systems are more and more populated by non-programmable generation, distributed storage, steerable appliances, and electric vehicles. Still, on the other hand, smart grid technology offers a technological substrate that can be leveraged to tackle the challenges posed by such evolution of usage of the grid. The dispersed nature of the appliances renders this background suitable for applying implicit, incentive-driven Demand Response through automated agents. Designing the behavior of these agents, though, is very difficult, since they must strategically react to a stochastic environment whose state evolution also depends on the actions of all the other agents, both seeking economic advantage and collectively avoiding the violation of grid constraints. In this project, we seek to formalize the environment as a Markov Game, a common setting for applying Reinforcement Learning techniques, and then to introduce in this field methods borrowed from recent AI and game theory literature such as Fictitious Play, that (in contrast to Reinforcement Learning techniques based on function approximation such as Deep Reinforcement Learning) have seen little application in the Smart Grid setting. The project will also involve power flow simulations, including the trained algorithmic agents and the physical models of the apparel they steer to verify their realized influence on an underlying grid (e.g., on voltage). The strategic behavior obtained will be analyzed in search of insight into the behavior of strategic agents interacting in a complex environment with goals both private (economic) and common (satisfaction of the grid constraints).
|
Kurzbeschreibung
(Französisch)
|
Les réseaux de distribution électrique sont de plus en plus peuplés par la production non programmable, le stockage distribué, les appareils pilotables et les véhicules électriques. D'un autre côté, la technologie des réseaux intelligents offre un substrat technologique qui peut être exploité pour relever les défis posés par une telle évolution de l'utilisation du réseau. La nature dispersée des appareils rend ce contexte propice à l'application de la réponse à la demande, implicite et guidé par des incentives, par le biais d'agents automatisés. Concevoir le comportement de ces agents est cependant très difficile, puisqu'ils doivent réagir stratégiquement à un environnement stochastique dont l'évolution de l'état dépend également des actions de tous les autres agents, à la fois en cherchant un avantage économique et en évitant collectivement la violation des contraintes du réseau. Dans ce projet, nous cherchons à formaliser l'environnement sous la forme d'un jeu de Markov, un cadre commun pour l'application des techniques d'apprentissage par renforcement, puis à introduire dans ce domaine des méthodes empruntées à la littérature récente sur l'IA et la théorie des jeux, comme le jeu fictif, qui (contrairement aux techniques d'apprentissage par renforcement basées sur l'approximation de fonctions, comme l'apprentissage par renforcement profond) ont été peu appliquées dans le cadre des réseaux intelligents. Le projet comprendra également des simulations de flux de charge, incluant les agents algorithmiques entraînés et les modèles physiques des appareils qu'ils pilotent, afin de vérifier leur influence réelle sur un réseau sous-jacent (par exemple, sur la tension). Le comportement stratégique obtenu sera analysé à la recherche d'un aperçu du comportement des agents stratégiques interagissant dans un environnement complexe avec des objectifs à la fois privés (économiques) et communs (satisfaction des contraintes du réseau).
|
Kurzbeschreibung
(Italienisch)
|
I sistemi di distribuzione elettrica sono sempre più popolati da generazione non programmabile, stoccaggio distribuito, elettrodomestici flessibili e veicoli elettrici. D'altra parte, la tecnologia della Smart Grid offre un substrato tecnologico che può essere sfruttato per affrontare le sfide poste da tale evoluzione dell'uso della rete. La natura dispersa delle apparecchiature flessibili si presta all'applicazione di strategie di Demand Response implicite, eseguite da agenti automatizzati esposti a incentivi economici. Progettare il comportamento di questi agenti, però, è complesso, poiché devono reagire strategicamente a un ambiente stocastico la cui evoluzione di stato dipende anche dalle azioni di tutti gli altri agenti, sia cercando un vantaggio economico sia evitando collettivamente la violazione dei vincoli di rete. In questo progetto, formalizziamo l'ambiente come un Markov Game, un setting comune per l'applicazione di tecniche di Reinforcement Learning, e introduciamo in questo campo metodi presi in prestito dalla recente letteratura su AI e teoria dei giochi come il Fictitious Play, che (in contrasto con le tecniche di Reinforcement Learning basate sull'approssimazione di funzione come il Deep Reinforcement Learning) hanno visto poca applicazione nell'ambiente Smart Grid. Il progetto coinvolgerà anche simulazioni di power flow, inclusi gli agenti algoritmici e i modelli fisici degli apparati che essi gestiscono per verificare la loro influenza su una rete elettrica sottostante (ad esempio, sulla tensione). Il comportamento strategico ottenuto sarà analizzato per comprendere il corretto comportamento degli agenti strategici che interagiscono in un ambiente complesso con obiettivi sia privati (economici) che comuni (rispetto dei vincoli di rete).
|
Schlussbericht
(Deutsch)
|
Die Training Multiagent Strategies for the Grid Projekt zielt darauf ab, das Problem der Modellierung elektrischer Flexibilitäten im Verteilungsnetz anzugehen und anschließend sinnvolle Strategien für autonome Agenten bereitzustellen, die diese Flexibilitäten verwalten. Wir modellieren diese Umgebung als eine ganztägige strategische Interaktion zwischen den Agenten, die versuchen, den Nutzen für den Endverbraucher, den sie repräsentieren, zu optimieren und gleichzeitig keine störenden Auswirkungen auf das Netz durch übermäßige Koordination zu haben. Die Agenten berücksichtigen bei ihrer Optimierung eine tägliche Strompreiskurve und erschließen so das Potenzial, das Preissignal als Flexibilitätssteuerungsinstrument zu nutzen. Vor diesem Hintergrund bietet sich die Verwendung des Stochastic Game Frameworks an, einer Form des dynamischen Spiels, bei dem die gemeinsamen Aktionen einer Reihe von Agenten die Entwicklung der Umwelt bestimmen. Das stochastische Spiel ist ein Standardrahmen für die Untersuchung des Multiagenten Verstärkungslernens, und wir übernehmen Techniken aus diesem Bereich, um zu versuchen, sinnvolle Lösungen vorzuschlagen. Angesichts der besonderen
Struktur unseres Problems schlagen wir eine neue zweistufige Methode für die Berechnung von Strategien vor, die sich als effektiv erweisen. Wir analysieren die Methode und führen eine Simulationskampagne für die Output-Strategien durch, wobei wir die Auswirkungen verschiedener Parameter, die das Modell charakterisieren, analysieren und das Potenzial für die Steuerung der Flexibilität durch Veränderungen der täglichen Preiskurve bewerten. Um schließlich die Auswirkungen der Agenten auf das Netz zu bewerten, wird eine Leistungsflusssimulation parallel zu den Agenten durchgeführt und die Auswirkungen der verschiedenen Strategien auf die Spannungsverteilung analysiert.
|
Schlussbericht
(Englisch)
|
The Training Multiagent Strategies for the Grid project aims to tackle the problem of modeling electrical flexibilities in the distribution grid, and then to provide sensible strategies for autonomous agents that manage those flexibilities. We model this environment as a day-long strategic interaction among the agents, which try to optimize the benefit to the final user they represent while not having a disruptive impact on the grid through excessive coordination. The agents take into account a daily electricity price curve in their optimization, unlocking the potential to use the price signal as a flexibility steering tool. This background lends itself to the usage of the Stochastic Game framework, a form of dynamic game in which the joint actions of an array of agents determine the evolution of the environment. The Stochastic Game is a standard framework for the study of Multiagent Reinforcement Learning, and we adopt techniques from this field to try and propose sensible solutions. Given the particular structure of our problem, we propose a new two-level method for the calculation of strategies, which proves effective. We analyze the method and perform a simulation campaign on the output strategies, analyzing the effect of various parameters that characterize the model, and evaluating the potential in steering flexibility through changes in the daily price curve. Finally, in order to evaluate the effect of the agents on the grid, a power flow simulation is run alongside the agents, and the effect of various strategies on the voltage distribution is analyzed.
|
Schlussbericht
(Französisch)
|
Le projet Training Multiagent Strategies for the Grid vise à résoudre le problème de la modélisation des flexibilités électriques dans le réseau de distribution, puis à fournir des stratégies raisonnables pour les agents autonomes qui gèrent ces flexibilités. Nous modélisons cet environnement comme une interaction stratégique d’une journée entre les agents, qui tentent d’optimiser le bénéfice pour l’utilisateur final qu’ils représentent tout en n’ayant pas d’impact perturbateur sur le réseau par une coordination excessive. Les agents tiennent compte d’une courbe quotidienne des prix de l’électricité dans leur optimisation, ce qui permet d’utiliser le signal de prix comme outil de pilotage de la flexibilité. Ce contexte se prête à l’utilisation du cadre du Jeu Stochastique, une forme de jeu dynamique dans lequel les actions conjointes d’un ensemble d’agents déterminent l’évolution de l’environnement. Le Jeu Stochastique est un cadre standard pour l’étude de l’Apprentissage par Renforcement Multi-agents, et nous adoptons des techniques de ce domaine pour essayer de proposer des solutions raisonnables. Compte tenu de la structure particulière de notre problème, nous proposons une nouvelle méthode à deux niveaux pour le calcul des stratégies, qui s’avère efficace. Nous analysons la méthode et effectuons une campagne de simulation sur les stratégies de sortie, en analysant l’effet des différents paramètres qui caractérisent le modèle, et en évaluant le potentiel de flexibilité de pilotage par le biais de changements dans la courbe des prix quotidiens. Enfin, afin d’évaluer l’effet des agents sur le réseau, une simulation de flux de puissance est exécutée avec les agents, et l’effet de différentes stratégies sur la distribution de la tension est analysé.
|
Schlussbericht
(Italienisch)
|
Il progetto Training Multiagent Strategies for the Grid si propone di affrontare il problema della modellazione delle flessibilità elettriche nella rete di distribuzione e di fornire strategie adeguate per agenti autonomi a cui viene affidato il compito di gestire tali flessibilità. Questo ambiente viene modellato come un’interazione strategica giornaliera tra gli agenti, che cercano di ottimizzare i benefici per l’utente finale, senza avere un impatto distruttivo sulla rete a causa di un’eccessiva coordinazione. Gli agenti tengono conto di una curva di prezzo giornaliera nella loro ottimizzazione, offrendo la possibilità di utilizzare il segnale di prezzo come strumento di gestione della flessibilità. Questo contesto si presta ad essere modellato come Stochastic Game, una forma di gioco dinamico in cui le azioni congiunte di una serie di agenti determinano l’evoluzione dello stato globale. Lo Stochastic Game è un framework standard per lo studio del Multiagent Reinforcement Learning e adotteremo le tecniche di questo campo per cercare di proporre soluzioni adeguate. Data la particolare struttura del nostro problema, viene proposto un nuovo metodo a due livelli per il calcolo delle strategie, che si rivela efficace. Il metodo viene analizzato e viene eseguita una campagna sperimentale sulle strategie calcolate, analizzando l’effetto di vari parametri che caratterizzano il modello e valutando il potenziale di controllo della flessibilità attraverso le variazioni della curva dei prezzi giornaliera. Infine, per valutare l’effetto degli agenti sulla rete, viene eseguita una simulazione elettrica includente gli agenti e viene analizzato l’effetto delle varie strategie sulla distribuzione di tensione.
|
