Von statischem zu lebenslangem Lernen in der KI
Über Dr. Martin Mundt
Dr. Martin Mundt studierte Physik und beschäftigte sich in seiner Masterarbeit mit neuroinspirierten Modellen. Er promovierte 2021 in Informatik an der Goethe-Universität Frankfurt.
Anschließend wechselte er als Postdoc an das AIML-Lab der TU Darmstadt und ist seit 2022 Junior Research Group Leader der Open World Lifelong Learning (OWLL) Gruppe an der TU Darmstadt und hessian.AI.
Menschen lernen strukturiert – Maschinen nicht
Mundt und seine OWLL-Gruppe beschäftigen sich mit der Frage, wie KI-Systeme lebenslang lernen können. Heutige KI-Verfahren trainieren KI-Modelle mit festen Datensätzen. Die reale Welt bestehe aber nicht aus solchen immer gleichen Daten, sagt der Forscher.
Im Bereich des lebenslangen Lernens sucht Mundt daher nach Ansätzen, die in solchen Szenarien kontinuierlich aus den sich ständig ändernden Daten in einer realen Anwendung lernen können.
Das Problem: Moderne Methoden des maschinellen Lernens sind sehr unstrukturiert und die Systeme lernen einzelne Elemente der Daten unabhängig voneinander. Der Mensch hingegen lerne strukturiert, so Mundt, zum Beispiel erst die leichteren Konzepte einer neuen Sprache und dann die schwereren, die darauf aufbauen.
Holistischer Ansatz soll lebenslanges Lernen ermöglichen
Dieser Ansatz funktioniert jedoch nicht ohne weiteres mit den derzeitigen Methoden. Wenn ein KI-Modell ein neues Konzept lernt, vergisst es in der Regel große Teile des ersten – in der Wissenschaft ist dies als „katastrophales Vergessen“ bekannt.
Mundt sucht daher nach einem holistischen Ansatz für lebenslanges Lernen, der es KI-Systemen ermöglicht, strukturiert zu lernen, ohne zu vergessen, und darüber hinaus immer entscheiden kann, ob neue Daten wirklich neue Konzepte beinhalten.
„Das ist der Grundsatzgedanke meiner Forschung: wie kann ich strukturiert kontinuierlich lernen und dabei gleichzeitig robuste Entscheidungen treffen“, so Mundt. Dafür müsse die aktuelle Grenze des maschinellen Lernens verschoben werden und auch mit symbolischen Systemen kombiniert werden.
Transparenz ist zentral, sagt Mundt
Die größte Herausforderung im Bereich des lebenslangen Lernens sieht Mundt darin, einen geeigneten Ansatz zu finden, der das Problem nicht zu breit anpackt – also nicht gleich eine allgemeine Intelligenz benötigt -, sich aber auch nicht nur auf ein Problem konzentriert, das dann mit anderen Systemen nicht mehr kompatibel ist.
Deshalb sei es auch wichtig, für Transparenz in der Forschungsgemeinschaft zu sorgen. Die Arbeiten in seinem Bereich müssten klar definieren, welche Probleme sie lösen und wo sie nicht mehr funktionieren.
Um diesen Prozess zu unterstützen, hat Mundt einen umfassenden Überblick über die letzten 30 Jahre KI-Forschung veröffentlicht, der die verschiedenen Aspekte des lebenslangen Lernens beleuchtet und eine Transparenzlandkarte vorschlägt, auf der Forschende die verschiedenen Dimensionen ihrer Arbeit aufzeigen und die Vergleichbarkeit verbessern können.
Martin Mundt ist auch Vorstandsmitglied der gemeinnützigen Organisation Continual AI, wo er unter anderem die Entwicklung von Avalanche, einer End-to-End-Bibliothek für kontinuierliches Lernen, unterstützt.
hessian.AI als Wegbereiter
Hessian.AI ist ein zentraler Enabler für seine Forschung, sagt Mundt, einzigartig in der Organisation der Forschenden und unglaublich hilfreich im Austausch mit diesen Expert:innen aus verschiedenen KI-Bereichen. Dieser Austausch und die geteilten Ressourcen, wie der Zugang zu Rechenzentren, sind eine Grundvoraussetzung für seine Forschung.
Die zeigt die Grenzen der derzeitigen KI-Systeme auf, die große Mengen an Daten, Energie und anderen Ressourcen benötigen, und könnte zu Ansätzen führen, die vom statischen Lernen zum lebenslangen Lernen übergehen, und KI-Systeme hervorbringen, die nicht auf bestimmte Benchmarks ausgerichtet sind, sondern direkt für die Anwendung relevant sind.
KI-Systeme, die erkennen, ob sie etwas bereits wissen, könnten auch dazu beitragen, aktuelle Probleme wie Halluzinationen in Sprachmodellen zu reduzieren.
Schließlich können kontinuierlich lernende Systeme auch einen partizipativen Prozess ermöglichen, so Mundt, genauer gesagt die Einbeziehung verschiedener Bevölkerungsgruppen in den Lern- und Aktualisierungsprozess von KI-Systemen.
