ServicenavigationHauptnavigationTrailKarteikarten


Forschungsstelle
BFE
Projektnummer
SI/501955
Projekttitel
COMESI – Comparison metrics simulation challenge

Texte zu diesem Projekt

 DeutschFranzösischItalienischEnglisch
Kurzbeschreibung
-
-
-
Anzeigen
Schlussbericht
Anzeigen
Anzeigen
-
Anzeigen

Erfasste Texte


KategorieText
Kurzbeschreibung
(Englisch)

Keywords: Wind energy, complex terrain, modelling, comparison metrics, blind test

Schlussbericht
(Deutsch)
In der Windenergiebranche hat die Genauigkeit der Schätzung der Windressourcen einen enormen Einfluss auf die erwartete Rendite eines Projekts. Aufgrund der komplexen Natur des Wetters und der Windströmung über der Erdoberfläche kann es sehr schwierig sein, die Windressource korrekt zu messen und zu modellieren. Für ein bestimmtes Projekt stehen Modelliererinnen und Modellierer vor einer schwierigen Auswahl aus einer breiten Palette von Simulationstools mit unterschiedlichen Genauigkeiten und Kosten. In diesem Projekt wird in Zusammenarbeit mit der IEA Wind Task 31 eine öffentliche "Simulationschallenge" für Windenergiestandorte in komplexem Gelände durchgeführt, bei der die Teilnehmerinnen und Teilnehmer ihre Simulationsdaten und -ergebnisse in einer vordefinierten Vorlage einreichen. Ziel ist es, mehrere Datensätze bezüglich der "Skill" und "Costs" von Simulationstools sowohl vor als auch nach der Durchführung der Simulationen zu sammeln, so dass Transferfunktionen für die genaue Vorhersage der "Skill" und "Costs" der Tools entwickelt werden können. Dies wird den Modelliererinnen und Modellierern helfen, für ein bestimmtes Windenergieprojekt das beste Modell für die Aufgabe auszuwählen. Im ersten Jahr dieses Projekts wurde eine Vorlage für Vergleichsmetriken weiterentwickelt und im Vergleich zur ursprünglichen Version stark verbessert. Die Simulationschallenge wurde planmässig entworfen und gestartet. In der Folge wurden mehrere Publikationen und Kollaborationen lanciert. Die Datenerfassung und –auswertung wurde mit einer Verzögerung von drei Monaten, aufgrund von einer geringen Anzahl von Einreichungen, abgeschlossen, weshalb sich die Planung von Stage 2 ebenso verzögert hat. Im zweiten Jahr des Projekts wurde zunächst die Stage 1 abgeschlossen. Dabei haben wir uns bei den registrierten Teilnehmerinnen und Teilnehmern informiert, warum die Ergebnisse verspätet eingereicht wurden, und haben die Challenge den Umständen entsprechend angepasst. Der Evaluierungscode wurde zudem vervollständigt und die Analyse der Ergebnisse abgeschlossen. In einem Workshop wurden die Ergebnisse den Teilnehmerinnen und Teilnehmern präsentiert sowie diskutiert. Dabei konnten offene Fragen und Ungereimtheiten geklärt werden. Die Ergebnisse von Stage 1 haben gezeigt, dass anspruchsvolle Simulationswerkzeuge wie Large Eddy Simulations (LES) nicht unbedingt zu höheren Genauigkeiten führen. Insbesondere für weniger komplexe Standorte ist es besser, einfachere Tools wie Reynolds Averaged Navier Stokes (RANS) oder WAsP zu verwenden, die mit einem Bruchteil der Kosten von LES-Simulationen ein hohes Mass an Genauigkeit erreichen. Insgesamt erzielte die RANS-Simulation mit der von Enercon entwickelten E-Wind-Software die besten und beständigsten Ergebnisse. Da der Teilnehmer auch der erfahrenste von allen war, könnte dies zu der Schlussfolgerung führen, dass die Fähigkeiten des Anwenders eine entscheidende Rolle für die Gesamtbewertung der Fähigkeiten spielen. Für Stage 2 dieses Projekts wurde der manuelle Prozess von Stage 1 automatisiert. Das daraus resultierende Decision Tool ist in der Lage, Antworten auf Fragebögen automatisch in Kompetenz- und Kostenbewertungen umzuwandeln. Um die Algorithmen des Tools zu entwickeln, wurde eine neue Challenge veröffentlicht. In dieser Challenge wurden die Teilnehmer aufgefordert, Simulations- und Messergebnisse von beliebig verfügbaren Standorten hochzuladen. Auf der Grundlage dieser Ergebnisse sollten von der Standortkomplexität abhängige Funktionen und Gewichtungen entwickelt und abgestimmt werden. Aufgrund mangelnder Beteiligung konnte der Tuning-Teil jedoch nicht abgeschlossen werden. Die daraus resultierenden Methoden dienen jedoch als Ausgangspunkt und können leicht aktualisiert und erweitert werden, wenn weitere Daten hinzukommen. Wir stehen diesbezüglich bereits in Kontakt mit mehreren Unternehmen, darunter Enercon, UL und TÜV Süd. Außerdem wurden die Fragen des Fragebogens neu formuliert, um sie leichter zu beantworten und zu verstehen sowie objektiver zu machen. Der Einfluss der Komplexität des Standorts auf die Bewertung der Fähigkeiten im Vergleich zu den Kosten wurde kurz untersucht, indem drei verschiedene Modelle für vier Standorte mit zunehmender Komplexität verglichen wurden. Es zeigte sich, dass mit zunehmender Komplexität des Standorts die "Before" Skill Scores abnahmen und die Abstände zwischen den Skill Scores der einzelnen Modelle in Abhängigkeit von ihrer Komplexität zunahm, d. h. LES übertraf die RANS- und WAsP-Simulationen. Bei weniger komplexen Standorten wiederum schnitten die RANS- und WAsP-Simulationen ähnlich gut ab wie der LES-Fall, wiesen aber deutlich bessere Kostenwerte auf. Die entwickelten Funktionen und Gewichte, mit denen diese Erkenntnisse erzielt werden konnten, wurden aufgrund der wenigen verfügbaren Datenpunkte von Hand abgestimmt. Mit mehr Daten können maschinelles Lernen und statistische Modelle diesen manuellen Prozess ersetzen, um allgemeinere und zuverlässigere Ergebnisse zu erhalten. Die derzeitigen Methoden und Funktionen dienen als Ausgangspunkt für die weitere Entwicklung.
Schlussbericht
(Englisch)
In wind energy, the accuracy of the estimation of the wind resource has an enormous effect on the expected rate of return of a project. Due to the complex nature of the weather and of the wind flow over the earth's surface, it can be very challenging to measure and model the wind resource correctly. For a given project, the modeller is faced with a difficult choice of a wide range of simulation tools with varying accuracies and costs. In this project, a public "simulation challenge" for wind energy sites in complex terrain is being implemented in collaboration with IEA Wind Task 31, in which participants submit their simulation data and results in a pre-defined template. The goal is to collect hundreds of comparison metrics data regarding the "skill" and "costs" of simulation tools both before and after carrying out the simulations, enabling transfer functions for the accurate prediction of tool "skill" and "costs" to be developed. This will help modellers choose the best model for the job for a given wind energy project. In the first year of this project, a submission template for comparison metrics was developed further and greatly improved compared to the initial version. The simulation challenge was designed and launched according to plan. Several publications and collaborations have been launched as a result of this. The data collection and evaluation was finished and a Python code for the analysis completed; however, we did not receive as many submission (five organisations with a total of 10 different submissions) as expected and the completion of Stage 1 had to be delayed by approximately three months. Due to this delay, the planning of Stage 2 was also delayed. However, the process of designing and evaluating Stage 1 allowed us to learn a great deal about simulation challenges, which served us well while designing Stage 2. In the second year of the project, Stage 1 was first completed. This involved improving the submitted results by meeting and discussing the details directly with the participants, and then applying the data analysis code to the final results. The results of Stage 1 showed that sophisticated simulation tools such as Large Eddy Simulations (LES) do not necessarily lead to higher accuracies. Especially for less complex sites, one is better off using simpler tools such as Reynolds Average Navier Stokes (RANS) or WAsP, reaching high levels of accuracy with a fraction of the costs of LES simulations. Overall, the RANS simulation with the E-Wind software, developed by Enercon, achieved the best and most consistent scores. As the participant was also the most experienced amongst all, this leads to the conclusion that the user skill may play a crucial role for the overall skill score. For Stage 2 of this project, the manual process of Stage 1 was automated. The resulting Decision tool is able to automatically convert answers of questionnaires into skill and cost scores. In order to develop the business logic of the tool, a new challenge was published. In this challenge participants were asked to upload simulation and measurement results of any available site. Based on these results site complexity dependent functions and score weightings were supposed to be developed and tuned. However, due to a lack of participation the tuning part could not be completed. However, the resulting methods serve as a starting point and can be easily updated and extended as more data comes in. We already have contacts with several companies including Enercon, UL and TÜV Süd about this. Additionally, the questions of the questionnaire were reformulated to render them easier to answer and understand as well as more objective. The influence of site complexity on the skill versus cost score plots was briefly explored by comparing three different models for four sites with increasing complexity. It was shown that for increasing site complexity the "before" skill scores decreased and the gaps between the skill scores of each model increased dependent on its sophistication, i.e. LES outperformed RANS and WAsP simulations. In turn, for less complex sites RANS and WAsP simulations performed similar to the LES case, but had significantly better cost scores. The developed functions and weights that were able to achieve these insights were tuned by hand due to the very few available data points available. With more data, machine learning and statistical models can replace this manual process in order to get more generalised and reliable results. The current methods and functions serve as a starting point for further development.
Zugehörige Dokumente
Schlussbericht
(Französisch)
Dans le domaine de l'énergie éolienne, la précision de l'estimation de la ressource éolienne a un effet énorme sur le taux de rendement attendu d'un projet. A cause de la complexité des conditions météorologiques et des vents à la surface de la Terre, il peut être très compliqué de mesurer et de modéliser correctement la ressource éolienne. Pour un projet donné, le modélisateur ou la modélisatrice est confronté à un choix difficile entre plusieurs outils de simulations avec des précisions et des coûts différents. Dans ce projet, un "challenge de simulation" public a été élaboré pour plusieurs sites avec un terrain complexe, en collaboration avec le IEA Wind Task 31, dont les participants soumettent leurs données et résultats de simulation en suivant une structure pré-définie. Le but est de recueillir des centaines de données métriques de comparaison suivant la "technicité" et le "coût" des outils de simulations, avant et après la réalisation des simulations, ce qui permet de développer des fonctions de transfert pour la prédiction précise de la "technicité" et des "coûts" des outils. Cela aidera les modélisateurs et modélisatrices à choisir le meilleur modèle pour le projet éolien donné.
Lors de la première année de ce projet, un modèle de soumission pour les métriques de comparaison a été développé et grandement amélioré par rapport à la version initiale. Le challenge de simulation a été conçu et lancé selon le plan. Plusieurs publications et collaborations ont été lancées à la suite de ce challenge. La collection des données et leur évaluation ont été achevées ainsi que la réalisation d'un code Python pour l'analyse des données ; cependant, nous n'avons pas reçu autant de soumissions que prévu (5 organisations avec un total de 10 soumissions distinctes) et la fin de la première phase du projet a dû être retardée d'environ trois mois. A cause de ce retard, la planification de la deuxième phase a elle aussi été retardée. Cependant, la conception et l'évaluation de la première phase nous a permis d'apprendre beaucoup sur les challenges de simulation, ce qui nous a servi pour mieux préparer la deuxième phase.
Lors de la seconde année de ce projet, la phase une a été achevée. Ceci inclut l'amélioration des résultats soumis en rencontrant et en discutant des détails directement avec les participants, et l'utilisation du code d'analyse des données aux résultats finaux. Les résultats de la première étape ont montré que les outils de simulation complexes, comme les simulations des grands tourbillons (LES), n'impliquent pas forcément une meilleure précision. En particulier pour les sites moins complexes, il est préférable d'utiliser des outils plus simples, comme les méthodes RANS (Reynolds Average Navier Stokes) ou WAsP, qui permettent d'atteindre des bons niveaux de précision en une fraction du coût des simulation LES. Globalement, la simulation RANS avec le logiciel E-Wind, développé par Enercon, a obtenu les meilleurs résultats et les plus cohérents. Comme le participant était aussi le plus expérimenté de tous, ceci permet de conclure que l'expérience de l'utilisateur joue sans doute un rôle crucial dans le score générale de "technicité". Pour la deuxième phase du projet, le processus manuel de la première phase a été automatisé. L'outil de décision qui en résulte est capable de convertir automatiquement les réponses du questionnaire en scores de technicité et de coût. Dans le but de développer la logique commerciale de l'outil, un nouveau challenge a été publié. Dans ce challenge, il était demandé aux participants de téléverser leurs résultats de simulation et de mesure de n'importe quel site disponible. A partir de ces résultats, des fonctions dépendant de la complexité du site et la pondération des scores devaient être développées et ajustées. Cependant, à cause du manque de participation, l'ajustement n'a pu être achevé. Cependant, les méthodes qui en résultent servent comme point de départ et peuvent être facilement mises à jour et étendues au fur et à mesure de l'arrivée de nouvelles données. Nous avons déjà des contacts avec plusieurs entreprises dont Enercon, UL et TÜV Süd. De plus, les questions du questionnaire ont étés reformulées pour les rendre plus facile à répondre et à comprendre ainsi que plus objectives.
L'influence de la complexité du terrain sur le score de la technicité par rapport au score du coût a été brièvement étudiée en comparant trois modèles différents pour quatre sites ayant une complexité croissante. Il a été démontré que pour une augmentation de la complexité du terrain, le score a-priori de la technicité décroit et les écarts entre les scores de technicité entre chaque modèle augmentent en fonction de la sophistication du modèle, c'est-à-dire que les simulations LES surpassent les simulations RANS et WAsP. En revanche, pour les sites moins complexes, les simulations RANS et WAsP ont des résultats similaires aux simulations LES, mais ont obtenu des scores bien meilleurs en termes de coût. Les fonctions et pondérations développées qui ont permis d'obtenir ces conclusions ont été ajustées à la main à cause du trop faible taux de données disponible. Avec plus de données, l'apprentissage automatique et les modèles statistiques peuvent remplacer ce processus manuel afin de mieux généraliser et rendre les résultats plus fiables. Les méthodes et fonctions actuelles servent comme point de départ pour un prochain développement.