TODC – Temperatur-Optimierung von Rechenzentren

• Forschungsstelle: BFE
• Projektnummer: SI/502866

Kurzbeschreibung (Deutsch)

Eine optimale Temperatur in Rechenzentren ist entscheidend für deren effizienten Betrieb, Langlebigkeit der Geräte und Minimierung des Energieverbrauchs. Eine zu hohe Temperatur kann zu Überhitzung führen, was wiederum Hardware-Fehlfunktionen, Datenverlust und Ausfallzeiten zur Folge haben kann. Andererseits kann eine übermässige Kühlung von Servern zu einem erhöhten Energie- und Wasserverbrauch – und demnach auch zu erhöhten Umwelt- und Betriebskosten führen. Heutige Richtlinien erscheinen in zweierlei Hinsicht etwas überholt: einerseits beruhen sie auf einer Jahrzehnt-alten Empfehlung, die heute eventuell zu konservativ ist und zu tiefe Temperaturen empfiehlt und daher zu unnötigem Energieverbrauch führen könnte. Andererseits ignorieren sie die zunehmende Verdichtung in Rechenzentren, die im Gegenteil eher tiefere Temperaturen erfordert. Die Kurzstudie wird dieses Spannungsfeld ausloten anhand eines konkreten Use Cases mit Primärdaten, Literaturrecherche und Experteninterviews.

Kurzbeschreibung (Englisch)

Maintaining an optimal temperature in data centers is critical to their efficient operation, equipment longevity and minimizing energy consumption. Excessive heat can lead to overheating, which in turn can cause hardware malfunctions, data loss and downtime. On the other hand, overcooling servers can lead to increased energy and water consumption – and thus increased environmental and operating costs. Today's guidelines appear somewhat outdated in two respects: on the one hand, they are based on a decade-old recommendation that may now be too conservative and recommends temperatures that are too low, which could lead to unnecessary energy consumption. On the other hand, they ignore the increasing density in data centers, which, on the contrary, tends to require lower temperatures. The short study will explore this area of conflict using a specific use case with primary data, a literature review and expert interviews.

Kurzbeschreibung (Französisch)

Une température optimale dans les centres de données est essentielle pour leur fonctionnement efficace, la longévité de l'équipement et la minimisation de la consommation d'énergie. Une température trop élevée peut entraîner une surchauffe, ce qui peut provoquer des dysfonctionnements matériels, des pertes de données et des temps d'arrêt. D'autre part, un refroidissement excessif des serveurs peut entraîner une consommation accrue d'énergie et d'eau - et donc des coûts environnementaux et d'exploitation plus élevés. Les directives actuelles semblent quelque peu dépassées à deux égards : d'une part, elles reposent sur une recommandation vieille de plusieurs décennies, qui est peut-être trop conservatrice aujourd'hui et recommande des températures trop basses, ce qui pourrait entraîner une consommation d'énergie inutile. D'autre part, elles ignorent la densification croissante des centres de données, qui nécessite au contraire des températures plutôt basses. L'étude succincte explorera ce champ de tensions à l'aide d'un cas d'utilisation concret avec des données primaires, une recherche documentaire et des interviews d'experts.

Schlussbericht (Deutsch)

Ein Faktor, der die Effizienz von Rechenzentren (RZ) beeinflusst, sind die Server-Eingangstemperaturen. Eine Erhöhung dieser Temperaturen kann die Effizienz der Kühlsysteme erheblich steigern, indem sie eine stärkere Nutzung der „freien Kühlung“ ermöglicht, bei der Umgebungswärmesenken anstelle von energieintensiven mechanischen Kälteanlagen genutzt werden können. Höhere Eingangstemperaturen können sich jedoch auch negativ auf den Energieverbrauch der IT-Ausrüstung auswirken, vor allem dadurch, dass die internen Serverlüfter stärker arbeiten müssen.

In welchem Ausmass sich diese beiden gegensätzlichen Effekte manifestieren, ist jedoch umstritten. Empfehlungen, die ein Jahrzehnt oder mehr zurückreichen, schlagen relativ weite Temperaturbereiche vor, wie etwa die 18 – 27 °C der American Society of Heating, Refrigerating and Air-Conditioning Engineers (ASHRAE). Die gängige Branchenpraxis liegt in der oberen Hälfte dieses Bereichs, oft bei 24 – 25 Grad. Über die Zeit wurden sowohl theoretische wie auch empirische Argumente für und gegen eine weitere Erhöhung der Eingangstemperaturen – sogar über 27 Grad hinaus – vorgebracht.

Angesichts der widersprüchlichen Effekte von Temperaturänderungen sowie vager und möglicherweise veralteter Empfehlungen, analysiert diese Studie, wie der Server-Stromverbrauch von den Eingangstemperaturen abhängt, ob eine weitere Erhöhung der Temperaturen Gesamtvorteile bringt oder nicht und ob verbreitete Metriken wie die Power Usage Effectiveness (PUE) in der Bewertung hilfreich sind.

Die Analyse basierte auf akademische und industrielle Fachliteratur, einigen Interviews, aber hauptsächlich auf der Fallstudie eines Colocation-Anbieters in der Schweiz. In den letzten Jahren hat dieser die Server-Eingangstemperaturen in zwei seiner Rechenzentren erhöht. Die vorliegende Studie hatte somit Zugang zu detaillierten Primärdaten zu Temperaturen, Server-Stromverbrauch und, für eines der beiden Rechenzentren, auch zum gebäudeweiten Stromverbrauch während dieses Zeitraums.

Die Ergebnisse bestätigen die positive Korrelation zwischen Eingangstemperaturen und dem Stromverbrauch der Server. In dieser Fallstudie betrug die Temperaturempfindlichkeit des Stromverbrauchs des gesamten Serverraums am oberen Ende des ASHRAE-Bereichs und leicht darüber (d.h. zwischen 23 – 30 °C), 0,35 – 0,5 Prozent Strommehrverbrauch pro Grad Celsius.

Welcher der beiden Effekte überwiegt – und ob folglich weitere Temperaturerhöhungen sinnvoll sind – konnte nicht abschliessend beurteilt werden. Daten zum gebäudeweiten Stromverbrauch waren für eines der RZ verfügbar. Bei mehreren aufgezeichneten Temperaturänderungen waren die Analyseergebnisse jedoch gleichmässig zwischen signifikant vorteilhaften und nachteiligen Effekten aufgeteilt. Diese widersprüchlichen Ergebnisse traten auf, obwohl mehrere Serverräume die Eingangstemperatur synchron änderten und dabei einen wesentlichen Anteil am Gesamtstromverbrauch des Gebäudes ausmachten. Eine vernünftige Erwartung war daher, dass die gebäudeweiten Effekte klar und eindeutig sein würden.

Die Mehrdeutigkeit könnte auf den Einfluss von Rauschen, Scheineffekten und Störfaktoren zurückzuführen sein, die auf Gebäudeebene relevanter zu sein scheinen als für einzelne Serverräume. Ein vielversprechender Lösungsansatz könnte ein kontrolliertes Experiment sein, bei dem die Temperaturen in allen (oder zumindest einem wesentlichen Teil der) Serverräume eines Rechenzentrums synchron verändert werden, während die Rechenlasten kontrolliert und während des gesamten Experiments konstant gehalten werden. Dies würde den Faktor eliminieren, der sich in dieser Analyse als der wahrscheinlich wichtigste Störfaktor herausgestellt hat, nämlich die Rechenlasten im Rechenzentrum.

PUE sollte in diesem Zusammenhang nicht zur Analyse herangezogen werden. Obwohl PUE zur Bewertung der Energieeffizienz von RZ (und insbesondere ihrer Kühlinfrastrukturen) weithin verwendet wird, ist die Metrik ungeeignet, den Kompromiss zwischen Verbrauch der Kühlinfrastruktur und der Serverlüfter zu bewerten. Aus pragmatischen, aber semantisch falschen Gründen wird der Verbrauch der Serverlüfter in den Stromverbrauch der Server einbezogen und landet somit im falschen Teil des PUE-Bruchs. Eine Erhöhung der Eingangstemperaturen führt daher immer zu einer PUE-Senkung, da sowohl der Stromverbrauch der Kühlung sinkt als auch der Stromverbrauch der Serverlüfter (und damit scheinbar auch der Server) steigt. Eine solche PUE-Senkung informiert jedoch nicht, welcher Effekt stärker ist, und kann daher leicht irreführend sein.

Solange eine genaue Antwort aussteht, deuten einige Anzeichen darauf hin, dass die optimalen Einlasstemperaturen am oberen Ende der ASHRAE-Empfehlung (etwa 25–27 °C) liegen könnten; dies würde auch mit den Erkenntnissen aus Hyperscale-Rechenzentren übereinstimmen, wie auch mit der Meinung eines befragten Experten.

Schlussbericht (Englisch)

One factor affecting the efficiency of data centres (DCs) are the server inlet temperatures. Raising these temperatures can significantly enhance the efficiency of cooling systems, by enabling greater use of “free cooling”, which uses ambient environmental heat sinks instead of energy-intensive mechanical refrigeration. Higher inlet temperatures, however, can also negatively impact the energy consumption of the IT equipment, primarily by causing internal server fans to work harder.

To which extent these two opposing effects manifest, however, is subject to debate. Recommendations reaching back a decade or more put forward relatively large ranges of recommended temperatures, such as the 18 – 27 °C by the American Society of Heating, Refrigerating and Air-Conditioning Engineers (ASHRAE). Current industry practices are in the upper half of this range, often around 24 – 25 degrees. Theoretical and empiric arguments have been made both in favour of further increasing inlet temperatures – even above 27 degrees – and against it.

Given the conflicting consequences of temperature changes as well as too vague and possibly outdated recommendations, this study set out to analyse how server room consumption depends on inlet temperatures, whether further raising the temperatures brings additional overall benefits or not, and whether widely deployed metrics such as the power usage effectiveness (PUE) are helpful for this assessment.

The analysis was based on academic and industry literature research, a few interviews, but mainly on the case study of a colocation provider in Switzerland. Over the last few years, this case study partner raised server inlet temperatures in two of its data centres. As a result of this partnership, the current study thus had access to detailed primary data on temperatures, server power consumptions, and for one of the two data centres also on the building-wide power consumption over these periods.

The results confirm the positive correlation between inlet temperatures and server power consumption. In this case study, at the higher end of the ASHRAE range and slightly above it, i.e., between 23 – 30 °C, the temperature sensitivity of the server room-wide power consumption was 0.35 – 0.5 percentage per degree centigrade.

Which of the two effects prevails – and, consequently, whether further temperatures increases are meaningful – could not be definitively assessed. Data on the building-wide power consumption was available for one of the data centres. For several temperature changes recorded, however, the results of the analysis were evenly split between significant beneficial and detrimental effects. These conflicting results occurred although several server rooms changed the inlet temperature synchronously, covering substantial shares of the building’s overall power consumption. A reasonable expectation had thus been that the building-wide effects would be clear and unambiguous.

The ambiguity might rely on the influence of noise, spurious effects, and confounding factors, which seem more relevant on a building level than they are for single server rooms. A promising way forward could be a controlled experiment, in which temperatures are synchronously modified in all (or at least a substantial share) of a data centre’s server rooms, while the computing loads are controlled and kept constant throughout the experiment. This would eliminate what this analysis revealed to be the likely most important confounding factor, i.e., the compute loads in the data centre.

PUE should not be employed in this context for similar analyses. While widely used to assess the energy efficiency of data centres (and especially their cooling infrastructures), PUE is not suited to assess the trade-off between cooling infrastructure and server fans power consumption. For pragmatic reasons, but semantically incorrect, the consumption of server fans is included in the server power consumption, and thus in the wrong part of the PUE fraction. Raising the inlet temperatures will thus always lead to a PUE decrease, both because cooling power consumption will decrease and server fan (and thus seemingly server) power consumption will increase. Such PUE decrease says nothing about which of the two effects is stronger, and might thus easily be misleading.

For now, however, a few indications point towards optimal inlet temperatures at the upper end of the ASHRAE recommendation (around 25–27 °C), which would also corroborate with the evidence from hyperscale data centres, and the opinion of an interviewed expert surveyed. 

Zugehörige Dokumente

• Final report [PDF] 2'616 kB

Schlussbericht (Französisch)

Un des facteurs influençant l'efficacité des centres de données (CD) est la température d'entrée des serveurs. Augmenter ces températures peut améliorer de manière significative l'efficacité des systèmes de refroidissement, en permettant une plus grande utilisation du « refroidissement naturel » (free cooling), qui exploite les dissipateurs thermiques de l'environnement ambiant au lieu de la réfrigération mécanique énergivore. Cependant, des températures d'entrée plus élevées peuvent également avoir un impact négatif sur la consommation d'énergie de l'équipement informatique, principalement en obligeant les ventilateurs internes des serveurs à travailler plus intensément.

Toutefois, la mesure dans laquelle ces deux effets opposés se manifestent fait l'objet de débats. Des recommandations datant d'une décennie ou plus proposent des plages de températures recommandées relativement larges, comme les 18 – 27 °C préconisés par l'American Society of Heating, Refrigerating and Air-Conditioning Engineers (ASHRAE). Les pratiques actuelles de l'industrie se situent dans la moitié supérieure de cette plage, souvent autour de 24 – 25 degrés. Des arguments théoriques et empiriques ont été avancés tant en faveur qu'en défaveur d'une nouvelle augmentation des températures d'entrée, même au-delà de 27 degrés.

Compte tenu des conséquences contradictoires des changements de température ainsi que des recommandations trop vagues et potentiellement obsolètes, cette étude a entrepris d'analyser la manière dont la consommation d'une salle de serveurs dépend des températures d'entrée, si une nouvelle augmentation des températures apporte ou non des avantages globaux supplémentaires, et si des indicateurs largement répandus comme le Power Usage Effectiveness (PUE) sont utiles pour cette évaluation.

L'analyse s'est basée sur des recherches dans la littérature académique et industrielle, quelques entretiens, mais principalement sur l'étude de cas d'un fournisseur de colocation en Suisse. Au cours des dernières années, ce partenaire de l'étude de cas a augmenté les températures d'entrée des serveurs dans deux de ses centres de données. Grâce à ce partenariat, la présente étude a donc eu accès à des données primaires détaillées sur les températures, la consommation électrique des serveurs et, pour l'un des deux centres de données, également sur la consommation électrique de l'ensemble du bâtiment sur ces périodes.

Les résultats confirment la corrélation positive entre les températures d'entrée et la consommation électrique des serveurs. Dans cette étude de cas, à l'extrémité supérieure de la plage de l'ASHRAE et légèrement au-delà, c'est-à-dire entre 23 et 30 °C, la sensibilité de la consommation électrique de l'ensemble de la salle de serveurs à la température était de 0,35 à 0,5 pour cent par degré centigrade.

Il n'a pas été possible de déterminer lequel des deux effets prévaut – et, par conséquent, si de nouvelles augmentations de température sont judicieuses. Des données sur la consommation électrique de l'ensemble du bâtiment étaient disponibles pour l'un des centres de données. Cependant, pour plusieurs changements de température enregistrés, les résultats de l'analyse étaient répartis de manière égale entre des effets bénéfiques et préjudiciables significatifs.

Ces résultats contradictoires sont apparus bien que plusieurs salles de serveurs aient modifié la température d'entrée de manière synchrone, représentant une part substantielle de la consommation électrique globale du bâtiment. On aurait donc pu raisonnablement s'attendre à ce que les effets à l'échelle du bâtiment soient clairs et sans ambiguïté.

L'ambiguïté pourrait provenir de l'influence du bruit, d'effets parasites et de facteurs de confusion, qui semblent plus pertinents à l'échelle d'un bâtiment que pour des salles de serveurs individuelles. Une voie prometteuse pourrait être une expérience contrôlée, dans laquelle les températures seraient modifiées de manière synchrone dans toutes les salles de serveurs d'un centre de données (ou du moins dans une part substantielle d'entre elles), tandis que les charges de calcul seraient contrôlées et maintenues constantes tout au long de l'expérience. Cela éliminerait ce que cette analyse a révélé comme étant le facteur de confusion probablement le plus important, à savoir les charges de calcul dans le centre de données.

Le PUE ne devrait pas être utilisé dans ce contexte pour des analyses similaires. Bien que largement utilisé pour évaluer l'efficacité énergétique des centres de données (et en particulier de leurs infrastructures de refroidissement), le PUE n'est pas adapté pour évaluer le compromis entre la consommation d'énergie de l'infrastructure de refroidissement et celle des ventilateurs de serveurs. Pour des raisons pragmatiques, mais sémantiquement incorrectes, la consommation des ventilateurs de serveurs est incluse dans la consommation d'énergie des serveurs, et donc dans la mauvaise partie de la fraction du PUE. L'augmentation des températures d'entrée entraînera donc toujours une diminution du PUE, à la fois parce que la consommation d'énergie pour le refroidissement diminuera et que celle des ventilateurs de serveurs (et donc apparemment des serveurs) augmentera. Une telle diminution du PUE ne dit rien sur lequel des deux effets est le plus fort ni sur la consommation d'énergie globale du centre de données, et pourrait donc être facilement trompeuse.

En attendant une réponse précise, certains indices suggèrent que les températures d'entrée optimales pourraient se situer dans la fourchette supérieure recommandée par l'ASHRAE (environ 25 à 27 °C) ; cela corroborerait également les preuves recueillies dans les centres de données hyperscale et l'avis d'un expert interrogé.