KnowlEDGE – Decentralized, secure and privacy-protecting AI to improve grid reliability, resilience and cost performance for DSOs

• Research unit: SFOE
• Project number: SI/502076

Short description (German)

Um die Netzzuverlässigkeit, Resilienz und Kostenleistung zu verbessern, verlassen sich Energieversorgungsunternehmen zunehmend auf KI und Daten-basierten Methoden, um großen Mengen aggregierter Daten zu verarbeiten. Die Zentralisierung von Daten erfordert häufig viel Zeit und Kosten, während der Datentransfer Sicherheits- und Datenschutzrisiken mit sich bringt. KnowlEDGE wird die Vorteile eines verteilten föderalistischen Ansatzes zur Analyse von Smart Meter Daten an mehreren Standorten untersuchen, insbesondere für VNB-Anwendungs-fälle. Darüber hinaus wird die Machbarkeit einer erweiterten Analyse von Smart Meter Daten am Grid Edge untersucht. KnowlEDGE umfasst die Entwicklung von föderalen Datenanalyse Algorithmen, die Anwendung dieser Algorithmen auf Smart Meter Daten und das Testen des Konzeptes im Labor und im Feld. Das Projekt wird den Nutzen der föderalen Datenanalyse studieren in Zusammenhang mit der Reduktion von Sicherheits- und Datenschutzrisiken. KnowlEDGE wird diese Vorteile in einer schrittweisen Reihe von Proof-of-Concept Implementierungen untersuchen, bei denen auf Daten in zunehmend dezentralen Konfigurationen zugegriffen und diese analysiert werden

Short description (English)

To improve grid reliability, resilience and cost performance, energy companies increasingly rely on AI and other data science techniques to process large amounts of aggregated data. Typically, aggregation means centralizing customer data to train algorithms at significant time and cost while introducing security and privacy risks. KnowlEDGE investigates the advantages of using a distributed (federated) analysis strategy to se-cure value from industrial, commercial and residential smart meter data in multiple locations, in particular targeting DSO use cases, and will in-vestigate the feasibility of conducting analysis of data at the grid edge. KnowlEDGE includes the development of federated analytics algorithms, application to smart meter data, and testing on meter infrastructure in the laboratory and in the field. The project will establish that accessing / analysing data in its source locations at the grid edge provides time, cost, security and privacy benefits using a phased series of proof of grid-edge concept implementations.

Final report (German)

Die Dekarbonisierung der Energieversorgung und die Abkehr von der Kernenergie führen zu erheblichen Veränderungen der grundlegenden Merkmale der Verteilnetze und damit der Verantwortlichkeiten der Verteilnetzbetreiber (VNB). Die Daten von intelligenten Zählern haben das Potenzial, Verteilnetzbetreiber in Zukunft beim Betrieb der Verteilnetze durch daten-basierte Ansätze zu unterstützen. Damit können regulatorische und unternehmerische Ziele für Netzzuverlässigkeit, Resilienz und Kosteneffizienz erreicht werden. In der Regel beruhen solche Data-Science-Techniken auf der Zentralisierung von Daten, führen jedoch zu Verzögerung in der Datenverarbeitung, zu Schwachstellen in Bezug auf Datensicherheit und Datenschutz und schaffen regulatorische Herausforderungen für den VNB oder das Versorgungsunternehmen angesichts der rechtlichen Beschränkungen, die in Bezug auf den Zugriff auf und die Analyse von Verbraucherlastprofilen bestehen.

Das KnowlEDGE-Projekt untersucht daten-basierte Ansätze auf der Grundlage von Smart-Meter-Daten um den Netzbetrieb in Echtzeit zu unterstützen und gleichzeitig Datenschutz- und Sicherheitsbeschränkungen zu berücksichtigen. Das Projekt wendet Algorithmen oder Modelle auf mehrere Datensätze an, ohne sie zu zentralisieren. Dabei werden dieselben Ergebnisse werden durch den dezentralisierten Ansatz erreicht, wie wenn die Daten zentral verarbeitet würden. KnowlEDGE untersucht, wie Algorithmen in Verbindung mit intelligenten Zählern dezentral funktionieren, und berücksichtigt die praktische Integration von KI-Algorithmen und föderierten Analyseansätzen in Wohn-, Industrie- und Gewerbeumgebungen durch Labor- und Feldversuche.

Im Rahmen des KnowlEDGE-Projekts wurde eine dezentrale Lastflussanalyse und Endverbraucher-Lastprognose in einem Feldversuch mit 30 Endkunden in einem Verteilnetz in Rolle VD eingesetzt. Die wichtigsten Beiträge des Ansatzes sind im Folgenden aufgeführt:

1. Ermöglicht Edge-basierte Berechnungen und Vorhersagen von Netzwerkbelastungen in Echtzeit. Im Gegensatz zur bestehenden Smart-Metering-Infrastruktur, die nur alle 24 Stunden 15- Minuten Messdaten überträgt, kann der Netzzustand nahezu in Echtzeit abgerufen werden.
2. Gewährleistet den Datenschutz und vermeidet eine Zentralisierung von Endverbraucherdaten und damit eine effizientere Datenverarbeitung.
3. Stellt eine innovative Alternative zum traditionellen Ansatz dar, zusätzliche Messgeräte auf der Trafoebene (Netzebene 6) zu installieren.
4. Stellt eine prototypische Einstellung der Implementierung mithilfe einer IoT-Schnittstelle bereit.

Der vorgeschlagene Ansatz erfordert den Einsatz intelligenter Zähler, die mit erweiterten Rechenkapazitäten ausgestattet sind, um die dezentralen Algorithmen auszuführen. Um Tests an einem realen Verteilungsnetz zu ermöglichen, wurde die Implementierung von Informations- und Kommunikationstechnologie (IKT) auf der Ebene des Verteilnetzbetreibers (DSO) mit einer direkten Internet-of-Things (IoT)- Schnittstelle unter Verwendung des MQTT-Protokolls entwickelt. Der Ansatz eröffnet das Potenzial für eine zukünftige Industrialisierung solcher Lösungen, verspricht eine verbesserte Transparenz der Verteilnetze und letztendlich eine Optimierung des Netzbetriebs

Final report (English)

Decarbonisation of energy supply and a transition away from nuclear energy are driving significant change in the underlying characteristics of distribution networks and hence the responsibilities of the Distribution System Operator (DSO). The data from smart meters has the potential to support DSOs as they manage the changing network, and they are increasingly investigating in advanced data science techniques, based on smart meter data, to achieve regulatory and corporate goals for grid reliability, resilience, and cost performance. Typically, such data science techniques rely on data centralisation, introducing delays in the data processing, data security and privacy protection vulnerabilities, and creating regulatory challenges for the DSO or utility given the legal constraints that exist in relation to accessing and analysing consumer load profiles.

The KnowlEDGE project investigates data-driven approaches based on smart meter data that can improve the DSO’s ability to adapt to decarbonisation and decentralisation in a way that addresses the privacy and security constraints described above. The project applies algorithms or models to multiple datasets without co-locating them while yielding results equivalent to applying the same algorithm or model to a centralised database. KnowlEDGE investigates how algorithms work in conjunction with smart meters at the grid edge and considers the practical integration of AI algorithms and federated analytics approaches into residential, industrial, and commercial settings through laboratory and field-based trials.

Within the KnowlEDGE project a decentralized load flow analysis and end-consumer load forecasting has been deployed in a field trial encompassing 30 end-customers in a sample distribution system in Rolle VD. The main contributions of the proposed approach are listed below:

1. Enables edge-based near real-time computation and forecasting of network congestion. In contrast to existing smart metering infrastructure which only transmits 15-minutes measurement data every 24 hours, network conditions can be accessed in near real-time.
2. Ensures data protection and avoids any centralization of end-consumer data, and hence a more efficient data processing.
3. Presents an innovative alternative to the traditional approach of installing supplementary measuring devices at the transformer level (grid level 6).
4. Provides a prototype setting of the implementation using an IoT interface.

The proposed approach requires the use of smart meters equipped with enhanced computing capabilities, in order to execute the advanced decentralized algorithms. To allow for testing on a real distribution gird, the implementation of Information and Communication Technology (ICT) at the Distribution System Operator (DSO) level with a direct Internet of Things (IoT) interface was developed using the MQTT protocol. Furthermore, the approach opens the potential for future industrialization of such solutions, promising improved visibility into distribution grids and ultimately optimizing grid operations.

Related documents

• Final report [PDF] 4'127 kB

Final report (French)

La décarbonation de l'approvisionnement énergétique et la sortie du nucléaire entraînent des changements significatifs dans les caractéristiques des réseaux de distribution et, partant, dans les responsabilités du gestionnaire de réseau de distribution (GRD). Les données des compteurs intelligents ont le potentiel d'aider les GRD à gérer l'évolution du réseau, et ils étudient de plus en plus les techniques avancées de science des données, basées sur les données des compteurs intelligents, pour atteindre les objectifs réglementaires et d'entreprise en matière de fiabilité, de résilience et de rentabilité du réseau. En règle générale, ces techniques de science des données reposent sur la centralisation des données, introduisant des retards dans le traitement des données, des vulnérabilités de sécurité des données et de protection de la vie privée, et créant des défis réglementaires pour le GRD ou le service public, compte tenu des contraintes juridiques qui existent en ce qui concerne l'accès et l'analyse des profils de charge des consommateurs. Le projet KnowlEDGE étudie des approches basées sur les données des compteurs intelligents qui peuvent améliorer la capacité du GRD à s'adapter à la décarbonisation et à la décentralisation d'une manière qui répond aux contraintes de confidentialité et de sécurité décrites ci-dessus.

Le projet applique des algorithmes ou des modèles à plusieurs ensembles de données sans les colocaliser, tout en produisant des résultats équivalents à l'application du même algorithme ou modèle à une base de données centralisée. KnowlEDGE étudie comment les algorithmes fonctionnent en conjonction avec les compteurs intelligents à la périphérie du réseau et envisage l'intégration pratique d'algorithmes d'IA et d'approches d'analyse fédérée dans des environnements résidentiels, industriels et commerciaux par le biais d'essais en laboratoire et sur le terrain.

Dans le cadre du projet KnowlEDGE, une analyse décentralisée des flux de charge et une prévision de la charge des consommateurs finaux ont été déployées dans le cadre d'un essai sur le terrain auprès de 30 clients finaux dans un système de distribution d'échantillons à Rolle VD. Les principaux apports de l'approche proposée sont énumérés ci-dessous :

1. Permet le calcul en temps quasi réel et la prévision de la congestion du réseau en périphérie. Contrairement à l'infrastructure de comptage intelligent existante qui ne transmet que des données avec un intervalle de 15 minutes toutes les 24 heures, les conditions du réseau sont accessibles en temps quasi réel.
2. Assure la protection des données et évite toute centralisation des données des consommateurs, et donc un traitement plus efficace des données.
3. Présente une alternative innovante à l'approche traditionnelle consistant à installer des appareils de mesure supplémentaires au niveau du transformateur (niveau de réseau 6).
4. Fournit un paramètre prototype de l'implémentation à l'aide d'une interface IoT.

L'approche proposée nécessite l'utilisation de compteurs intelligents dotés de capacités de calcul améliorées, afin d'exécuter les algorithmes décentralisés avancés. Afin de permettre des tests sur un système de distribution réelle, la mise en œuvre des technologies de l'information et de la communication (TIC) au niveau du gestionnaire de réseau de distribution (GRD) avec une interface directe de l'Internet des objets (IoT) a été développée à l'aide du protocole MQTT. De plus, cette approche ouvre la voie à l'industrialisation future de ces solutions, promettant une meilleure visibilité sur les réseaux de distribution et, à terme, une optimisation de l'exploitation des réseaux