Wie „Adversarial Reinforcement Learning“ robuste KI trainiert
Über Aryaman Reddi
Aryaman Reddi ist Doktorand und beschäftigt sich mit Multi-Agenten-Reinforcement Learning und Spieltheorie. Seine akademische Laufbahn begann er an der renommierten Universität Cambridge, wo er sowohl seinen Bachelor als auch seinen Master in Information and Computer Engineering absolvierte. Während seines Studiums entwickelte Reddi sein Interesse für maschinelles Lernen und Mathematik. Seine Masterarbeit mit dem Titel „Deep Q-Learning for Congruent Non-Dominated Game Strategies“ legte den Grundstein für seine aktuelle Forschung.
Nach seinem Studium sammelte Reddi praktische Erfahrungen bei ARM, wo er in der Forschungsabteilung für maschinelles Lernen tätig war. Seine Arbeit konzentrierte sich auf die Optimierung von neuronalen Netzen für Anwendungen wie Gesichtserkennung auf mobilen Geräten.
Heute setzt Reddi seine Forschung an der Technischen Universität Darmstadt fort, wo er im LiteRL-Team von Professor Carlo D’Eramo betreut wird. Dort beschäftigt er sich intensiv mit der Entwicklung von Multiagentensystemen, die komplexe Probleme effizienter lösen können als bisherige Technologien.
Arayaman Reddi
Fokus Adversarial Reinforcement Learning
Ein Schwerpunkt seiner Arbeit ist das so genannte „Adversarial Reinforcement Learning“. Dabei werden Systeme unter schwierigen, feindlichen Bedingungen trainiert, um ihre Robustheit zu erhöhen. Ein Beispielprojekt ist die Roboterlokomotion, bei der Roboter gegen einen gegnerischen Agenten trainiert werden, sich in simulierten widrigen Umgebungen wie Eis oder Wind zu bewegen.
Ein weiterer Schwerpunkt ist die Kooperation in Multiagentensystemen. Hier untersucht Reddi, wie Agenten durch verbesserte Kommunikation effizienter zusammenarbeiten können. Dieser Ansatz könnte langfristig zu Systemen führen, die sowohl im Team als auch in widrigen Szenarien effektiv agieren können.
Auf der Suche nach mathematischen Grundlagen
Als eine der größten Herausforderungen in der aktuellen KI-Forschung beschreibt Reddi die Kluft zwischen Theorie und Praxis. Viele der heutigen Methoden des maschinellen Lernens basierten auf „unscharfen“ Ideen ohne solide mathematische Grundlage, sagt Reddi – das führe zu Unsicherheiten bei der Anwendung und Fehlerbehebung, da nie genau nachgewiesen werden könne, wo das Problem liege.
„ChatGPT eignet sich gut für die Erstellung einfacher Texte, versagt aber oft bei komplexeren Aufgaben wie dem Verfassen von Rechtsdokumenten oder der Analyse langer Texte, etwa über medizinische Geräte, und es ist schwer herauszufinden, warum das so ist“, sagt Reddi. „Es gibt so viele bewegliche Teile, von denen wir nur durch empirische Beweise wissen, dass sie funktionieren, aber es ist schwierig zu sagen, dass sie wegen diesem oder jenem nicht funktioniert haben.“
Sein Ziel ist es daher auch, einen Beitrag zur KI-Forschung zu leisten, der einfach und allgemein genug ist, um von anderen Forschern in Multi-Agenten-Projekten umgesetzt zu werden – und erklärt werden kann.
Multiagentensysteme für Kommunikationsnetze
Das Forschungsnetzwerk hessian.AI spielt eine entscheidende Rolle in Reddis Arbeit. Durch die Zusammenarbeit mit anderen Forschern aus verschiedenen Bereichen wie Computer Vision und Datenmanagement habe er sein Wissen erweitert und neue Perspektiven für seine Forschung gewonnen, erzählt Reddi in unserem Gespräch.
Auf Nachfrage spricht er auch über den möglichen gesellschaftlichen Nutzen seiner Forschung: Gerade der Einsatz von Multiagentensystemen in Bereichen wie Verkehrsfluss und Kommunikationsnetzen könnte zu effizienteren und umweltfreundlicheren Lösungen führen.
Darüber hinaus hofft er, dass seine Forschungsergebnisse anderen Wissenschaftlern helfen werden, effizientere Algorithmen zu entwickeln und damit einen größeren Einfluss auf das Gebiet der Künstlichen Intelligenz im Allgemeinen haben werden.
