Kontinuierliches Lernen soll KI für globale Anwendungen fit machen
Über Subarnaduti Paul
Subarnaduti Paul begann seine wissenschaftliche Karriere in Deutschland vor etwa fünf Jahren mit einem Masterstudium an der Technischen Universität Darmstadt. Nach Abschluss seines Studiums, das sich zunächst auf elektronische Systeme konzentrierte, wechselte Paul, inspiriert durch ein Praktikum und eine anschließende Masterarbeit bei Bosch, immer mehr in Richtung Künstliche Intelligenz.
Der Kern seiner Forschung: Kontinuierliches Lernen
Pauls frühere Arbeiten konzentrierten sich auf verteilte Systeme, insbesondere föderierte Systeme, in denen mehrere Clients lokal Daten lernen und diese Informationen dann an einen globalen Server senden.
Sein derzeitiges Forschungsinteresse gilt dem kontinuierlichen Lernen. Er erklärt, wie dieses Konzept darauf abzielt, Maschinen beizubringen, Informationen ähnlich wie Menschen zu speichern: „Wir lernen als Kinder lesen und schreiben und erinnern uns noch Jahrzehnte später an diese Grundkenntnisse.“ Er vergleicht dies mit der Herausforderung für Maschinen, wenn sie sequentiell mit neuen Daten gefüttert werden und dabei oft vergessen, was sie zuvor gelernt haben – ein Phänomen, das als katastrophales Vergessen bekannt ist.
In jüngster Zeit konzentriert er sich dabei auf so genannte Basismodelle, zum Beispiel für die Bilderkennung, und auf die Integration des kontinuierlichen Lernens in einer Umgebung mit begrenztem Speicherplatz. „Ich arbeite daran, wie wir den Vision Transformer inkrementell auf ein sparsameres Modell trainieren können“, erklärt Paul. „Es geht darum, Modelle beim sequenziellen Lernen effizienter zu machen, indem man sich auf die wesentlichen Teile der Daten konzentriert“, erklärt er. Diese Forschung könnte helfen, den Speicherbedarf und die Rechenleistung für maschinelles Lernen zu reduzieren.
Subarnaduti Paul
Replay-Buffer als Gedächtnis
Eine der größten Herausforderungen ist die Entwicklung von Interpretationsmethoden, die es ermöglichen, die relevantesten Teile eines Datensatzes zu identifizieren und zu nutzen. Paul veranschaulicht dies am Beispiel eines Fotos: „Wenn wir ein Bild von einem Hund vor dem Hintergrund eines Parks haben, muss das Modell entscheiden, ob es sich um einen Hund oder ein anderes Tier handelt. Die Herausforderung besteht darin, nur den relevanten Teil des Bildes – in diesem Fall den Hund – auszuwählen und zu speichern.
Diese Aufgabe erfordert nicht nur ein tiefes Verständnis der Funktionsweise von KI-Modellen, sondern auch innovative Ansätze, um mit begrenztem Speicherplatz effizient umzugehen. Pauls Ziel ist es, Replay-Buffer zu entwerfen, die nur einen Bruchteil der Daten speichern, aber genug Informationen enthalten, um das kontinuierliche Lernen effektiv zu unterstützen. Diese Buffer dienen als eine Art Gedächtnisspeicher, der es KI-Modellen ermöglicht, aus vergangenen Erfahrungen zu lernen und gleichzeitig das Problem des katastrophalen Vergessens zu minimieren.
Die Balance zwischen Speichereffizienz und dem Erhalt relevanter Informationen ist eine Gratwanderung und steht im Mittelpunkt von Pauls Forschung.
Kontinuierliches Lernen könnte KI fit für globale Anwendungen machen
Für Paul bietet hessian.AI eine ideale Plattform für seine Forschung. „Es ist großartig, so viele Doktorandinnen und Doktoranden aus verschiedenen Bereichen unter einem Dach zu haben. Die Möglichkeit zur Zusammenarbeit und der Zugang zu Ressourcen wie großen GPU-Clustern sind entscheidend für meine Arbeit“, betont Paul.
Paul sieht in seinem Forschungsgebiet ein großes Potenzial für gesellschaftlichen Fortschritt. Als Beispiel nennt er die schrittweise Einführung von Impfstoffen für verschiedene Altersgruppen, die dem Prinzip des kontinuierlichen Lernens folgt.
„Durch kontinuierliches Lernen könnten wir Verzerrungen in Daten und Modellen reduzieren und eine größere Verallgemeinerung über verschiedene Bevölkerungsgruppen hinweg erreichen“, erklärt er. Das gelte auch für Fälle, in denen beispielsweise ein Sprachmodell zunächst mit europäischen Sprachen trainiert wurde und nun auf andere Sprachen erweitert werden soll.
Für die Zukunft plant Paul daher, seine Forschung auf gesellschaftlich relevante Anwendungen auszuweiten und sich auch für die Entwicklung einheitlicher Benchmarks im Bereich des kontinuierlichen Lernens einzusetzen. Damit will er das junge Forschungsfeld deutlich voranbringen.
