Unser derzeitiges, von fossilen Brennstoffen getragenes Energieversorgungssystem in eine nachhaltige und vollständig durch erneuerbare Energien geprägte Struktur zu transformieren, ist eine zentrale gesellschaftliche Herausforderung des 21. Jahrhunderts. Wie diese Herausforderung bewältigt werden könnte, erforschen Dr.-Ing. Oliver Wallscheid vom Institut für Elektrotechnik und Prof. Dr. Eyke Hüllermeier vom Institut für Informatik in einem gemeinsamen Forschungsprojekt. Für ihr Vorhaben mit dem Titel „Reinforcement Learning in Micro- und Smartgrids: Sichere, datengetriebene Betriebsstrategien für komplexe Energiesysteme“ erhalten die beiden Wissenschaftler jetzt den mit 150.000 Euro dotierten Forschungspreis der Universität Paderborn.
Grundlagen für die nachhaltige Energiewende schaffen
Das deutsche bzw. zentraleuropäische Energienetz zeichnet sich derzeit durch konventionelle und hierarchisch angelegte Top-Down-Strukturen aus. Dies bedeutet, dass die Energie maßgeblich durch konventionelle Großkraftwerke (z. B. Kohle) bereitgestellt wird und dann über lange Transportwege zu den Verbrauchern in Industrie, Gewerbe und in den Haushalten gebracht wird. Um aber die nötige Voraussetzung für eine erfolgreiche und nachhaltige Energiewende zu schaffen, sei laut Wallscheid und Hüllermeier die Hinwendung zu flexiblen, sektorübergreifenden und intelligenten Energiesystemen notwendig. Dies soll mit sogenannten „Micro- und Smartgrids“ (MSG) gelingen, die eine Lösungskomponente darstellen, um auch zukünftig eine saubere, effiziente und kostengünstige Energieversorgung zu gewährleisten. Wallscheid: „Als MSG wird das Konzept eines lokalen Netzes bezeichnet, das aus Energiequellen, Energiespeichern und Energieverbrauchern verschiedener Sektoren besteht. Dies kann beispielsweise die lokale Kombination aus Windkraftanlagen, Blockheizkraftwerken und Batterien sein, die den Elektrizitäts- und Wärmebedarf eines mittelständischen Unternehmens decken.“ Ihr Vorteil: Durch die lokale Integration regenerativer Energien würden die überregionalen Energienetze entlastet, womit der Bedarf für einen kosten- sowie ressourcenintensiven Netzausbau sinken würde. Dies sei auch schon heute ein signifikantes Problem: bereits vorhandene regenerative Kraftwerke müssten oftmals abgeschaltet werden, da nicht genügend Transportkapazitäten im Netz verfügbar seien, sodass die nachhaltig bereitgestellte Energie ungenutzt verfiele.
Mehr Stabilität durch Künstliche Intelligenz
Der Lösungsansatz der beiden Wissenschaftler weist allerdings eine zentrale Hürde auf, und zwar den sicheren Betrieb. „MSGs sind hochgradig heterogen und komplex. Die Ungewissheit des Verbraucherverhaltens und die Volatilität der regenerativen Kraftwerke verleihen dem System eine bedeutende stochastische Komponente. Klassische Methoden der Regelungstechnik erachten wir hier deshalb nicht als zielführend“, gibt Wallscheid zu bedenken. Stattdessen setzen die beiden Forscher auf das sogenannte „Reinforcement Learning“ (RL): „Hierbei handelt es sich um ein datengetriebenes Betriebskonzept aus dem Bereich des Maschinellen Lernens bzw. der Künstlichen Intelligenz. Es wird bei ähnlich komplexen und stochastischen Problemen, wie etwa beim Börsen-Trading, eingesetzt und hat dort bereits vielversprechende Erfolge erzielen können“, erklärt Hüllermeier. Nichtsdestotrotz sei die Regelung von MSGs mithilfe dieser Methode mit einem hohen Risiko behaftet, da die Sicherheit und Verfügbarkeit der Energieversorgung höchsten Anforderungen genügen müsse. Hüllermeier: „Bereits eine einzige Fehlentscheidung kann zu einem vollständigen Systemversagen führen. Da es an mathematisch beweisbaren Garantien mangelt, ist der Einsatz adaptiver und datengetriebener Methoden des Maschinellen Lernens, deren Verhalten grundsätzlich nicht vorhersehbar ist, in diesem Zusammenhang äußerst herausfordernd.“
Wallscheid und Hüllermeier erhoffen sich von diesem interdisziplinären Projekt vor allem eine Antwort auf die Frage, ob Betriebsstrategien, die auf RL basieren, prinzipiell in der Lage sind, komplexe, heterogene und stochastische Micro- und Smartgrids unter höchsten Sicherheits- und Verfügbarkeitsanforderungen zu steuern, und welche methodischen Erweiterungen des RL hierfür notwendig sind.
Kosten reduzieren, Umwelt schonen
Im Zuge des Projekts werden zwei Ansätze auf ihre Eignung hin untersucht. Wallscheid: „Im ‚zentralisierten‘ Ansatz leitet ein Regler, auch Agent genannt, basierend auf Informationen über das System Steuerbefehle für alle Komponenten im MSG ab, wie etwa zum Laden und Entladen des Batteriespeichers. Der andere Ansatz verfolgt ein Konzept, bei dem jede Komponente selbst über ihr eigenes Betriebsverhalten entscheidet. Man nennt dieses Verhalten auch ‚Multi-Agenten-System‘, kurz MAS. Dieser Ansatz ist tendenziell robuster und senkt das Risiko eines Totalausfalls, da er nicht von einer zentralen Steuereinheit abhängig ist. Gleichwohl steigt durch die Vielzahl von Entscheidern die Systemkomplexität, was die Gefahr von Fehlentscheidungen erhöht.“ Neben dem primären Ziel eines sicheren MSG-Betriebs möchten die Paderborner Forscher u. a. untersuchen, ob es möglich ist, Betriebs- und Investitionskosten von MSGs zu minimieren und die regenerativ bereitgestellte Energie zu maximieren, um somit wiederum die Umweltbelastung zu verringern. Dabei soll eine skalierbare Software-Modellumgebung helfen, die zur Abbildung verschiedenster MSG-Anordnungen geschaffen wird. „Die Einbindung der Modellumgebung sowie der RL-Strategien finden im Paderborn Center for Parallel Computing (PC²) statt, um durch Parallelisierung vielfältige Untersuchungen durchführen zu können“, erklärt Hüllermeier. Langfristig sei ein Transfer auf die reale Testumgebung des Microgrid-Labors geplant, das zurzeit vom Fachgebiet „Leistungselektronik und Elektrische Antriebstechnik“ (LEA) am Paderborner Campus aufgebaut wird.
Über den Einsatz in Energierversorgungssystemen hinaus sehen die beiden Wissenschaftler in ihrem Projekt Potential, von dem vielfältige Arbeitsbereiche profitieren könnten. So ließen sich die Erkenntnisse im Idealfall z. B. auf die Steuerung industrieller Produktionsanlagen übertragen. Denkbar wäre auch ein Transfer auf die Koordination verteilter Energienetze in Fahrzeugen, Flugzeugen und Schiffen sowie die Regelung komplexer mechatronischer Systeme.
