ServicenavigationHauptnavigationTrailKarteikarten


Research unit
SFOE
Project number
SI/502781
Project title
SAFE-AI – Sustainability Assessment Framework for the Environmental Impacts of Artificial Intelligence

Texts for this project

 GermanFrenchItalianEnglish
Short description
Anzeigen
-
-
Anzeigen
Final report
Anzeigen
Anzeigen
-
Anzeigen

Inserted texts


CategoryText
Short description
(German)

Digitale Technologien und insbesondere künstliche Intelligenz (KI) haben ein erhebliches Potenzial, den Klimaschutz sowohl zu unterstützen als auch zu behindern. Sie wurden bislang sowohl als erhebliche Bedrohung bezeichnet, die für grosse und wachsende Emissionen verantwortlich ist, aber auch als entscheidender Wegbereiter für Emissionssenkungen in anderen Sektoren. Aufgrund uneinheitlicher und oft problematischer Methoden gehen die Schätzungen des Fussabdrucks des Sektors um den Faktor 25 auseinander, was das öffentliche Verständnis und eine durchdachte, effiziente Politikgestaltung erschwert. Angesichts der Dringlichkeit der Klimakrise und des Potenzials der künstlichen Intelligenz, wird dieses Projekt einen einheitlichen Rahmen für die Bewertung der Energie- und Klimaauswirkungen der künstlichen Intelligenz entwickeln. Ein oder zwei Fallstudien werden die Anwendung des Rahmenwerks anhand von Beispielen demonstrieren. Sie untersuchen sowohl die direkten Lebenszyklus-Auswirkungen der KI-Lösung, gehen jedoch weiter als der Rahmen und berücksichtigen auch die indirekten Auswirkungen der Anwendung der Lösung.  

Short description
(English)

Digital technologies, and artificial intelligence (AI) in particular, hold substantial potential to both help and hinder climate change mitigation. They have been called a major threat – responsible for large and growing emissions – as well as a critical enabler of emission reductions across other sectors. Reflecting the use of inconsistent and often problematic methodologies, estimates of the sector’s footprint diverge by a factor of 25, frustrating public understanding and effective policymaking. Given the urgency of the climate crisis and the potential of AI, this project will develop a framework for assessing the energy and climate effects of AI. One or two use cases will demonstrate the application of the framework by exemplar. They will study the direct life cycle impacts of the AI solution, but also go beyond the frame, taking into account the indirect impacts from the application of the solution as well.

Final report
(German)

Die rasante Verbreitung künstlicher Intelligenz (KI) bringt nicht nur grosse Chancen, sondern auch wachsende ökologische Herausforderungen mit sich. Insbesondere steigen der Energieverbrauch und der Bedarf an Materialien deutlich an, was wiederum zu höheren Treibhausgasemissionen und weiteren Umweltbelastungen führt. Die genaue Bewertung dieser Auswirkungen ist jedoch schwierig. Das liegt unter anderem daran, dass KI-Systeme sehr komplex und vielfältig sind und sich ständig weiterentwickeln. Zudem fehlen oft verlässliche Daten von den Entwicklern, und es gibt noch keine einheitlichen Methoden zur Bewertung. Unterschiedliche Einsatzbereiche von KI benötigen ausserdem sehr unterschiedliche Energiemengen, was Vergleiche zusätzlich erschwert.

Um diese Probleme anzugehen, wurde das SAFE-AI-Framework entwickelt. Es bietet eine strukturierte Grundlage, um die Umweltwirkungen von KI besser zu verstehen und zu bewerten. Dabei konzentriert es sich auf vier zentrale Aspekte: die wichtigsten Ursachen für Energieverbrauch zu identifizieren, geeignete Bewertungsmethoden vorzuschlagen, sinnvolle Vergleichseinheiten zu definieren und einen klaren Ablauf für die Bewertung von KI-Systemen bereitzustellen.

Ein zentrales Element des Frameworks ist die Unterscheidung zwischen drei Ebenen: dem KI-Modell, dem KI-System und der individuellen KI-Nutzung. Besonders bei den weit verbreiteten grossen Sprachmodellen (large language models, LLMs) liegt die Verantwortung für die Bewertung auf Seiten der Anbieter, da nur sie Zugriff auf relevante Daten wie den Energieverbrauch beim Training und bei der Nutzung haben. Unternehmen, die solche Modelle über Schnittstellen nutzen, müssen sich daher auf veröffentlichte Daten stützen und diese auf ihre eigenen Anwendungen übertragen.

Auf Ebene des KI-Systems werden hingegen alle weiteren Komponenten betrachtet, etwa eigene Modelle, sowie weitere Bestandteile des KI-Ökosystems. Diese lassen sich oft direkt messen und sind daher für Unternehmen besonders relevant. Der Bericht richtet sich deshalb vor allem an Praktikerinnen und Praktiker, die KI-Systeme einsetzen und deren Energieverbrauch besser verstehen möchten.

Ein wichtiger Punkt ist die Frage, wie man Nutzung sinnvoll misst. Durchschnittswerte können täuschen, da einzelne Anfragen sehr unterschiedlich sind. Der Bericht zeigt, dass sich insbesondere die Anzahl der verarbeiteten Ein- und Ausgabeeinheiten (Tokens) gut eignet, um den Energieverbrauch abzuschätzen.

Auf dieser Basis schlägt der Bericht einen unmittelbar anwendbaren Ablauf für Bewertungen auf Ebene des KI-Systems vor. Dieser ist generisch angelegt und kann auf eine Vielzahl von KI-Systemen angewendet werden. Für nicht unmittelbare messbare externe KI-Modelle stützt sich der Ablauf auf eine stochastische Analyse der Tokenverteilung pro Anfrage. Dies ermöglicht robustere Aggregationen auf Systemebene, wenn lediglich die Gesamtzahl der Anfragen und Tokens bekannt ist.

Anhand verschiedener Systemarchitekturen wird gezeigt, wie unterschiedliche KI-Systeme aufgebaut sein können. Ein konkretes Beispiel ist ein Nachhaltigkeits-Chatbot der Stadt Zürich. Die Analyse zeigt, dass in diesem Fall der Grossteil des Energieverbrauchs nicht durch die externen KI-Modelle entsteht, sondern durch das lokale System selbst – vor allem wegen dessen geringer Auslastung.

Diese Erkenntnis macht deutlich, dass eine ganzheitliche Betrachtung entscheidend ist: Wer die Umweltwirkungen von KI verstehen will, darf nicht nur auf einzelne Modelle schauen, sondern muss das gesamte System berücksichtigen.

Über ihrem direkten Fussabdruck hinaus, verursachen KI-Systeme jedoch auch indirekte Umweltfolgen in ihren jeweiligen Anwendungsgebieten, welche sowohl positiv wie auch negativ sein können. Diese sind in der Regel vielfältig, komplex und eng miteinander verwoben; daher lassen sie sich nur schwer allgemein bewerten. Der Bericht führt zwei solche Bewertungen durch: für denselben Nachhaltigkeits- Chatbot der Stadt Zürich sowie für einen klinischen KI-Konversationsagenten. Sie zeigen, wie KI in zwei unterschiedlichen Sektoren – Kreislaufwirtschaft bzw. Gesundheitswesen – Umweltvorteile bewirken kann, aber auch, wie stark solche Bewertungen vom jeweiligen Kontext abhängen.

Final report
(English)

The rapid proliferation of artificial intelligence (AI) brings not only major opportunities, but also growing environmental challenges. In particular, energy consumption and the demand for materials are increasing significantly, which in turn leads to higher greenhouse gas (GHG) emissions and further environmental burdens. However, accurately assessing these impacts is difficult. This is partly because AI systems are highly complex and diverse, and are constantly evolving. In addition, reliable data from developers is often lacking, and there are still no standardised assessment methods. Different areas of AI application also require vastly different amounts of energy, making comparisons even more difficult.

The SAFE-AI framework (“Sustainability Assessment Framework for the Environmental Impacts of Artificial Intelligence”) was developed to address these problems. SAFE-AI provides a structured basis for better understanding and assessing the environmental impacts of AI, while focusing on four key aspects: identifying the main drivers of energy consumption, proposing suitable assessment methods, defining meaningful units of comparison, and providing a clear process for assessing AI systems.

SAFE-AI distinguishes between three main assessment levels: the AI model, the AI system, and individual AI usage. For the widely used large language models, the assessment of the AI model level is reserved for the providers of foundational models, as only they have access to relevant data such as energy consumption during training and use. Companies that use such models via interfaces must therefore rely on published data and apply it to their own applications.

At the level of the AI system, all further components are typically considered, such as internally deployed AI models and other elements of the AI ecosystem. These can often be measured directly and are therefore particularly relevant for companies. This report is thus aimed primarily at practitioners who deploy AI systems and wish to better understand their energy consumption.

An important question is how AI usage can be measured in a meaningful way. Average values can be misleading, as individual queries vary considerably. The report shows that the number of output and input tokens is particularly suitable for estimating energy consumption.

On this basis, the report proposes a directly applicable operational workflow for assessments on AI system level. The workflow is designed to be generic and can be applied to a wide range of AI systems. For external AI models that cannot be measured directly, the process relies on a stochastic analysis of the token distribution per request. This enables more robust aggregation at system level when only the total number of requests and tokens is known.

Using various system architectures, the report shows how different AI systems can be structured. One concrete example is a sustainability chatbot developed by the city of Zurich. The analysis shows that, in this case, the majority of energy consumption is not caused by the external AI models, but by the local system itself, mainly due to its low utilisation.

This finding highlights that a holistic perspective is crucial: anyone wishing to understand the environmental impacts of AI must not look only at individual models, but must take the entire system into account.

Beyond their direct footprint, AI systems also induce indirect environmental consequences (which can be both beneficial and detrimental) in their respective deployment sectors. These are typically varied, complex, and deeply intertwined. As such, they are difficult to assess generically. This report performs two such assessments: for the same sustainability chatbot of the city of Zurich and for a clinical AI conversational agent. They show how AI may bring about environmental benefits in two different sectors (circular economy and healthcare, respectively), but also how contextual such assessments are.

Related documents
Final report
(French)

La prolifération rapide de l’intelligence artificielle (IA) offre non seulement de grandes opportunités, mais pose aussi des défis environnementaux croissants. En particulier, la consommation d’énergie et la demande en matériaux augmentent fortement, entraînant des émissions accrues de gaz à effet de serre (GES) et d’autres impacts environnementaux. Il reste toutefois difficile d’évaluer précisément ces effets, notamment parce que les systèmes d’IA sont très complexes, variés et en constante évolution. En outre, les données fiables des développeurs font souvent défaut, et il n’existe pas encore de méthodes d’évaluation standardisées. Les différents domaines d’application de l’IA nécessitent aussi des quantités d’énergie très variables, ce qui complique encore les comparaisons.

Le cadre SAFE-AI (« Sustainability Assessment Framework for the Environmental Impacts of Artificial Intelligence ») a été développé pour répondre à ces problèmes. Il fournit une base structurée pour mieux comprendre et évaluer les impacts environnementaux de l’IA, en se concentrant sur quatre aspects clés : identifier les principaux moteurs de consommation d’énergie, proposer des méthodes d’évaluation adaptées, définir des unités de comparaison pertinentes et fournir un processus clair d’évaluation des systèmes d’IA.

SAFE-AI distingue trois niveaux d’évaluation principaux : le modèle d’IA, le système d’IA et l’usage individuel de l’IA. Pour les grands modèles de langage largement utilisés, l’évaluation au niveau du modèle d’IA revient aux fournisseurs de modèles fondamentaux, car eux seuls ont accès aux données pertinentes, telles que la consommation d’énergie lors de l’entraînement et de l’utilisation. Les entreprises qui utilisent ces modèles via des interfaces doivent donc s’appuyer sur les données publiées et les appliquer à leurs propres applications.

Au niveau du système d’IA, tous les autres composants sont généralement pris en compte, comme les modèles d’IA déployés en interne et d’autres éléments de l’écosystème IA. Ceux-ci peuvent souvent être mesurés directement et sont donc particulièrement pertinents pour les entreprises. Ce rapport s’adresse ainsi principalement aux praticiennes et praticiens qui déploient des systèmes d’IA et souhaitent mieux comprendre leur consommation d’énergie.

Une question importante est de savoir comment mesurer l’usage de l’IA de manière pertinente. Les valeurs moyennes peuvent être trompeuses, car les requêtes individuelles varient fortement. Le rapport montre que le nombre de jetons d’entrée et de sortie est particulièrement adapté pour estimer la consommation d’énergie.

Sur cette base, le rapport propose un flux opérationnel directement applicable aux évaluations au niveau du système d’IA. Ce flux est conçu de manière générique et peut s’appliquer à une large gamme de systèmes d’IA. Pour les modèles d’IA externes non mesurables directement, le processus s’appuie sur une analyse stochastique de la distribution des jetons par requête. Cela permet une agrégation plus robuste au niveau du système lorsque seuls le nombre total de requêtes et de jetons est connu.

À partir de diverses architectures, le rapport montre que les systèmes d’IA peuvent être structurés très différemment. Un exemple concret est un chatbot de durabilité développé par la Ville de Zurich. L’analyse montre que, dans ce cas, l’essentiel de la consommation d’énergie ne provient pas des modèles d’IA externes, mais du système local lui-même, principalement en raison de sa faible utilisation.

Ce constat souligne l’importance d’une perspective globale : pour comprendre les impacts environnementaux de l’IA, il ne suffit pas d’examiner des modèles individuels, il faut prendre en compte l’ensemble du système.

Au-delà de leur empreinte directe, les systèmes d’IA entraînent aussi des conséquences environnementales indirectes — positives comme négatives — dans leurs secteurs de déploiement. Celles-ci sont généralement variées, complexes et étroitement liées. Elles sont donc difficiles à évaluer de manière générique. Ce rapport réalise deux évaluations de ce type : pour le même chatbot de durabilité de la Ville de Zurich et pour un agent conversationnel d’IA clinique. Elles montrent comment l’IA peut apporter des bénéfices environnementaux dans deux secteurs différents — l’économie circulaire et la santé —, mais aussi combien ces évaluations dépendent du contexte.