EAGLE – A deep learning approach to photovoltaics reliability

• Unité de recherche: OFEN
• Numéro de projet: SI/502555
• Titre du projet anglais: EAGLE – A deep learning approach to photovoltaics reliability

Description succincte (Allemand)

Ziel dieses Projekts ist es, eine neue Methode zur quantitativen und rechtzeitigen Erkennung von Defekten und Fehlern in PV-Modulen durch Bildanalyse in Kombination mit dem Einsatz von Algorithmen der künstlichen Intelligenz und deren Korrelation mit Leistungsverlusten der Module zu definieren. Grundlage dieser Analyse ist der Einsatz einer einzigartigen ultrahochauflösenden Multispektralkamera mit UV- bis IR-Empfindlichkeit, geeigneten Filtern und Beleuchtungseinrichtungen. Um die Projektziele zu erreichen, wird eine Methodik zur automatischen Identifizierung von Fehlermodi auf Zellebene unter Verwendung von Convolutional Neural Networks (CNNs) implementiert. Die Ergebnisse des Projekts werden sich direkt auf künftige Methoden zur Fehlerverfolgung auswirken, sowohl in Forschungslabors als auch in Produktions- und Betriebsumgebungen, da sie eine quantitative und messbare Erfassung der Entwicklung der Modulleistung ermöglichen.

Description succincte (Anglais)

Aim of this project is to define a new methodology for quantitative and timely detection of defects and failures in PV modules through image analysis in combination with the use of artificial intelligence algorithms and their correlation with module performance losses. The basis of this analysis is the use of a unique ultra-high resolution multispectral camera with UV to IR sensitivity, appropriate filters and lights setup. To achieve the project goals, a methodology for automatic identification of failure modes at the cell level will be implemented using Convolutional Neural Networks (CNNs). The results of the project will have a direct impact on future defect tracking methodology, both in research labs, manufacturing and operational environments, allowing a quantitative and measurable way to record the evolution of module performance.

Description succincte (Français)

L'objectif de ce projet est de définir une nouvelle méthodologie pour la détection quantitative et rapide des défauts et des défaillances des modules PV par l'analyse d'images en combinaison avec l'utilisation d'algorithmes d'intelligence artificielle et leur corrélation avec les pertes de performance des modules. La base de cette analyse est l'utilisation d'une caméra multispectrale unique à ultra-haute résolution avec une sensibilité de l'UV à l'IR, des filtres appropriés et une configuration des lumières. Pour atteindre les objectifs du projet, une méthodologie d'identification automatique des modes de défaillance au niveau de la cellule sera mise en œuvre à l'aide de réseaux neuronaux convolutifs (CNN). Les résultats du projet auront un impact direct sur la future méthodologie de suivi des défauts, tant dans les laboratoires de recherche que dans les environnements de fabrication et d'exploitation, en permettant un moyen quantitatif et mesurable d'enregistrer l'évolution des performances des modules.

Rapport final (Allemand)

Die Photovoltaik (PV) spielt eine zentrale Rolle bei der Reduktion globaler CO2-Emissionen. Mit der zunehmenden Anzahl installierter PV-Systeme gewinnt die langfristige Zuverlässigkeit von PV-Modulen immer mehr an Bedeutung. Defekte können den Energieertrag erheblich reduzieren, jedoch sind viele Degradationsmechanismen mit konventionellen Inspektionsmethoden nur schwer quantitativ zu erfassen. Multispektrale Bildgebung ermöglicht die Detektion solcher Fehler, indem sie komplementäre Informationen aus unterschiedlichen spektralen Bereichen erfasst.

Ziel dieses Projekts war die Entwicklung einer quantitativen Methodik zur Aufnahme und automatisierten Analyse multispektraler Bilder von PV-Modulen. Der entwickelte Ansatz kombiniert ultrascharfe multispektrale Bildgebung mit Methoden der künstlichen Intelligenz, um auf Solarzellebene sichtbare Defekte zu erkennen und mit elektrischen Leistungs­verlusten zu korrelieren. Zur Aufnahme der Bilder wurde eine einzelne hochauflösende multispektrale Kamera verwendet, mit der Aufnahmen im sichtbaren Bereich (VI), Elektrolumineszenz (EL) sowie ultravioletter Fluoreszenz (UVf) erzeugt werden können.

Im Verlauf des Projekts wurde ein Datensatz von 241 PV-Modulen mit insgesamt 11.076 Solarzellen erfasst und verarbeitet. Eine speziell entwickelte Segmentierungspipeline extrahierte automatisch einzelne Zellbilder aus den Modulaufnahmen. Mehr als 10 % des Datensatzes wurden von Expertinnen und Experten annotiert, wodurch ein hochwertiger Trainings- und Validierungsdatensatz für maschinelle Lernverfahren entstand. Der zentrale Bestandteil der Methodik ist ein multispektrales Klassifikationsmodell zur Defekterkennung auf Basis der Channel Vision Transformer-Architektur. Das Modell wurde mittels einer progressiven Transfer-Learning-Strategie trainiert: zunächst Vortraining auf ImageNet, anschließend Feinabstimmung auf großen öffentlich verfügbaren EL-Datensätzen und schließlich Anpassung an die multispektralen Bilder dieses Projekts. Trotz der begrenzten Größe des proprietären Datensatzes ermöglichte diese Strategie eine robuste Defekterkennung über verschiedene Modultechnologien hinweg. Das Modell erreichte eine Genauigkeit von über 90 % auf den annotierten Projektdaten sowie etwa 94 % Genauigkeit auf einem unabhängigen externen Datensatz (nur EL). Für nicht annotierte Bilder wurde eine korrekte Fehlererkennung von über 70 % erzielt und damit die im Projekt definierten Leistungsziele erreicht.

Der entwickelte Ansatz ermöglicht die Detektion verschiedener PV-Fehlermodi, darunter Zellrisse, inaktive Zellbereiche, Korrosion, Delamination und Verfärbungen. Ein wesentlicher Fortschritt gegenüber konventionellen Methoden besteht in der Fähigkeit, mehrere gleichzeitig auftretende Defekte innerhalb einer einzelnen Zelle zu erkennen, was die komplexen Degradationsmuster gealterter Module besser widerspiegelt. Durch die Kombination mehrerer spektraler Kanäle können zudem Defekte identifiziert werden, die in reinen EL-Aufnahmen nicht sichtbar sind.

Neben der Defektklassifikation wurde im Projekt auch eine datengetriebene Methode zur Abschätzung von Leistungsverlusten von PV-Modulen direkt aus multispektralen Bildern entwickelt. Hierfür wurde ein Deep-Learning-Regressionsmodell auf Basis von ResNet-18 trainiert, um den Verlust der maximalen Leistung anhand von VI-, EL- und UVf-Bildern vorherzusagen. Dadurch wird eine quantitative Verbindung zwischen sichtbaren Degradationsmustern in den Bildern und dem Verlust elektrischer Leistung hergestellt.

Dennoch bestehen einige Einschränkungen. Die Methodik funktioniert am besten für Defekte mit klaren optischen Signaturen. Seltene Defekte sowie komplexe Defektkombinationen bleiben aufgrund begrenzter Trainingsdaten schwierig zu erkennen. Darüber hinaus können Degradationsmechanismen ohne sichtbare optische Signatur nicht detektiert werden. Die Analyse konzentrierte sich außerdem auf sichtbare Defekte auf Zellebene, während sichtbare Degradationsmuster auf Modulebene, wie etwa durch potenzialinduzierte oder UV-induzierte Degradation verursachte EL-Muster, nicht berücksichtigt wurden.

Insgesamt zeigt das Projekt, dass KI-basierte multispektrale Bildanalyse eine skalierbare, quantitative und automatisierte Erkennung von Defekten in PV-Modulen ermöglicht und visuelle Degradationsmuster mit elektrischen Leistungsverlusten verknüpft. Die Ergebnisse verdeutlichen das große Potenzial KI-gestützter multispektraler Bildgebung als Diagnosewerkzeug der nächsten Generation für die Zuverlässigkeitsbewertung von PV-Systemen in Forschungslaboren, industrieller Produktion sowie im Betrieb und der Wartung von PV-Anlagen.

Rapport final (Anglais)

Photovoltaic (PV) energy plays a key role in reducing global carbon emissions. As the number of PV systems installed continues to grow, ensuring the long-term reliability of PV modules becomes increasingly important. Failures can significantly reduce energy yield, yet many degradation mechanisms remain difficult to quantify using conventional inspection methods. Multispectral imaging enables the detection of such failures by capturing complementary information from different spectral domains.

The objective of this project was to develop a quantitative methodology for acquiring and automatically analysing multispectral images of PV modules. The proposed framework combines ultra-high-resolution multispectral imaging with artificial intelligence to detect defects visible at the solar cell level and correlate them with electrical performance losses. A single ultra-high-resolution multispectral camera was used to acquire visible (VI), electroluminescence (EL), and ultraviolet fluorescence (UVf) images.

During the project, a dataset of 241 PV modules corresponding to 11076 solar cells was collected and processed. A dedicated segmentation pipeline automatically extracted individual cell images from module images. More than 10% of the dataset was annotated by experts, providing a high-quality training and validation dataset for machine learning models. The core component of the methodology is a multispectral defect classification model based on the Channel Vision Transformer architecture. The model was trained using a progressive transfer-learning strategy: pre-training on ImageNet, fine-tuning on large publicly available EL datasets, and final adaptation to the project’s multispectral images. Despite the limited size of the proprietary dataset, this strategy enabled robust defect detection across different module technologies. The model achieved >90% accuracy on labelled project data and approximately 94% accuracy on an independent external dataset (EL only). For unlabeled images, the system achieved >70% correct failure identification, meeting the project’s performance targets.

The developed approach enables the detection of several PV failure modes, including cell cracks, inactive regions, corrosion, delamination, and discolouration. A key improvement over conventional methods is the ability to detect multiple simultaneous defects, reflecting the complex degradation patterns typically observed in aged modules. Combining multiple spectral channels also allows identification of defects not visible in EL imaging alone.

In addition to defect classification, the project demonstrated a data-driven method to estimate module power loss directly from multispectral images. A deep learning regression model based on ResNet-18 was trained to predict the loss in maximum power using VI, EL, and UVf images. This establishes a quantitative link between degradation patterns in images and losses in electrical performance.

Some limitations remain. The methodology performs best for defects with clear optical signatures. Rare defects and complex combinations remain challenging due to limited training data. Furthermore, degradation mechanisms without visible optical signatures cannot be detected. The analysis also focused on cell-level visible defects, while module-level visible degradation patterns, such as potential-induced or ultraviolet-induced degradation-related EL patterns, were not included.

Overall, the project demonstrates that AI-based multispectral image analysis enables scalable, quantitative, and automated detection of PV module defects and links visual degradation patterns to loss of electrical performance. The results highlight the strong potential of AI-enhanced multispectral imaging as a next-generation tool for PV reliability assessment in research laboratories, industrial production, and operation and maintenance of PV systems.

Main Findings

• A multispectral artificial intelligence (AI) model based on the Channel Vision Transformer (ChannelViT) architecture was developed to automatically detect and classify defects in photovoltaic (PV) modules three complementary imaging modalities: visible (VI), electroluminescence (EL), and ultraviolet fluorescence (UVf) images
• When trained and tested using EL images of crystalline silicon PV modules from publicly available datasets, the model achieved 94.4% classification accuracy on previously unseen images for common EL-visible defect classes such as good, cracks, cross cracks, dark regions, and corrosion. This demonstrates strong performance for standard EL-based defect detection.
• The inclusion of visible (VI) and ultraviolet fluorescence (UVf) images enable the detection of additional defect classes that are typically not visible in EL images alone, such as discolouration and delamination. However, larger labelled datasets are required to fully capture these defects across different PV module technologies.
• When combining all three image types (VI, EL, and UVf), the developed model achieved >90% accuracy on expert-labelled multispectral data and ≥70% correct defect identification on unlabeled data, demonstrating reliable performance for multispectral defect detection.
• A complementary AI-based method for estimating PV module performance directly from multispectral images was also developed. Using VI, EL, and UVf images together reduced the mean absolute error (MAE) in predicted power loss from 5.5% (EL-only) to 4.8%, demonstrating that combining multiple spectral imaging modalities improves the accuracy of performance loss estimation.

Documents annexés

• Final Report [PDF] 11'334 kB