3AI – The Third Wave of Artificial Intelligence möchte die Dritte Welle der Künstlichen Intelligenz erforschen: KI-Systeme sollen menschenähnliche Kommunikations- und Denkfähigkeiten erwerben und neue Situationen erkennen, einordnen und sich selbstständig an sie anpassen können.
Unser Forschungsansatz geht weit über das in den letzten Jahrzehnten erreichte Leistungsniveau der KI und Methoden Maschinellen Lernens hinaus: KI-Systeme sollen nicht mehr nur als Werkzeuge fungieren, die von Menschen programmierte Regeln ausführen oder Problemlösungen aus von Menschen kuratierten Datensätzen ableiten, sondern sollen als ,Kollegen’ agieren können. Dabei geht es nicht darum, menschliche Intelligenz zu ersetzen, sondern sie in einer immer komplexeren Welt zuverlässig und zum Nutzen der Gesellschaft zu erweitern.
Die von uns erforschten KI-Systeme sollen nicht nur lernen können, sondern sie sollen auch – neuartige – Fakten erfassen können und in der Lage sein, sie mit Formen abstrakten Denkens zu verknüpfen. Sie werden logische Schlussfolgerungen ziehen und kontextbezogene Entscheidungen treffen und daraus wieder lernen. Neben den algorithmischen Grundlagen werden insbesondere neue Methoden des Systemdesigns, neue Methoden des Software Engineerings und des Datenmanagements für KI hierfür eine Schlüsselrolle spielen. Langfristig soll das Paradigma der System-KI das Fundament für die Entwicklung der „dritten Welle der KI“ bilden ‒ Künstliche Intelligenzen, die partnerschaftlich mit Menschen kontextbezogen lernen, schlussfolgern, Wissen aufbauen und (inter-)agieren. Zur Erforschung der Grundlagen der Dritten Welle der KI arbeiten wir in einem Forschungsteam aus Informatik, Künstlicher Intelligenz, Cognitive Science und Lebenswissenschaften eng zusammen.
3AI wird als Clusterprojekt vom Hessischen Ministerium für Wissenschaft, Forschung und Kunst von 2021 bis 2025 gefördert. In 3AI werden die Grundlagen für die Beantragung eines Exzellenzclusters „Vernünftige Künstliche Intelligenz – RAI“ (EXC 3057) im Rahmen der Exzellenzstrategie des Bundes und der Länder gelegt.
Um die große Herausforderung der Dritten Welle der KI zu meistern, müssen wir die KI von Grund auf neu denken und neue Grundlagen schaffen, die maschinelles Lernen, Optimierung und Schlussfolgern bzw. logisches Denken (Reasoning) nahtlos integrieren – von räumlichen und zeitlichen, über physikalische und domänenspezifische bis hin zu kognitiven Modellen –, da eine Komponente allein nicht ausreicht, um komplexe KI-Systeme mit menschenähnlichen Fähigkeiten zu entwickeln. Als Klammer und Leitmotiv für 3AI stellen wir uns ein Programmierparadigma für System-KI vor, das den Prozess der Entwicklung komplexer lernbasierter KI-Systeme effizient, sicher und leichter reproduzierbar macht.
3AI wird von Prof. Mira Mezini, Prof. Kristian Kersting, Prof. Jan Peters and Prof. Stefan Roth (TU Darmstadt) koordiniert.
Das Forschungsziel unseres gemeinsamen Programms besteht darin, einen soliden Grundsatzbeweis für eine der Haupthypothesen zu erbringen, die der 3AI-Vision zugrunde liegen, nämlich dass die Kombination von Lernen, Argumentation und Optimierung innerhalb des Paradigmas der System-KI und deren Umsetzung in einem gemeinsamen KI-Programmierrahmen der Schlüssel zu einer erheblichen Steigerung der Effektivität, Robustheit, Verantwortlichkeit und Reproduzierbarkeit von KI ist, während gleichzeitig die Produktivität derjenigen verbessert wird, die die KI der Zukunft entwickeln, um sie breiteren Anwendungsbereichen zugänglich zu machen. Um einen solchen Grundsatzbeweis zu erbringen, werden wir die rechnerischen Grundlagen für KI der dritten Welle schaffen und erste Anwendungen für anspruchsvolle Probleme in den Biowissenschaften untersuchen. 3AI gliedert sich in 3 Missionen:
Im Rahmen der Mission Foundations of Systems AI Design bringen wir probabilistisches Programmieren und Lernen, selbstaktualisierende Berechnungen, KI-gestützte Programmierung und tiefe Datenbanken zusammen, um die Software-Grundlagen der System-KI zu schaffen. Wir entwickeln den Stand der Technik bei Computersprachen weiter, so dass diese die Programmierung von Lern- und Schlussfolgerungsaufgaben besser unterstützen. Wir untersuchen gemeinsame Rahmenwerke für die tiefe neuronale und probabilistische Programmierung, Ansätze für die hybride Modellierung, die differenzierbare Modelle mit anderen Ansätzen des maschinellen Lernens verbinden, um die Generalisierung und Robustheit zu verbessern, sowie sprachbasierte Ansätze, um die Konsistenz und Treue zu erhöhen. In ähnlicher Weise bietet der Hybridisierungsprozess auch eine implizite Regularisierung, da z. B. strukturiertes Wissen dazu beitragen kann, unplausible tiefe Modelle zu verwerfen und Struktur zu schaffen. Weitere Forschungsthemen sind Programmiermodelle zur Unterstützung kontextorientierter, automorpher KIs, die in der Lage sind, kontextspezifisch und mit unvollständigem Wissen zu argumentieren.
Insgesamt werden in Foundations of Systems AI Design (SD) Forschungsfragen rund um das Thema „Foundations for AI Software Engineering“ untersucht. Während wir bei der Entwicklung von Grundlagen für die Entwicklung herkömmlicher Software weit vorangekommen sind, stecken Äquivalente für KI und insbesondere für ML-Software-Systeme, wenn überhaupt, noch in den Kinderschuhen. Damit wollen wir nicht nur KI-Programmierer, sondern auch Fachleute mit begrenzten Programmierkenntnissen bei der kollaborativen Entwicklung von System-KIs unterstützen.
(SD1) „Systems AI Programming“ entwickelt Software-Grundlagen für ein gemeinsames Systems AI Framework.
Unser Ziel ist es, die Programmierung von System-KI auf einer hohen Abstraktionsebene zu ermöglichen, um die Belange der unteren Ebene zu automatisieren und unbeabsichtigte Komplexität zu vermeiden. Um dieses Ziel zu erreichen, müssen wir Programmiergrundlagen schaffen und Programmierabstraktionen bereitstellen, um datengesteuerte Modelle, kognitive Modelle, Wissensdomänen und Lernende als Entitäten erster Klasse zu behandeln – die Einheiten für Berechnungen, Komposition und Schlussfolgerungen von KI-Hochsprachen. Die heute gebräuchlichen Computersprachen wurden mit dem Ziel entwickelt, das „Lehren“ von Maschinen zu erleichtern, die vordefinierte Vorschriften „mechanisch“ ausführen; neue KI-Sprachen werden das Vehikel sein, um KI der dritten Welle zu lehren.
Forschungsfragen: Die Vision der Programmierung von System-KI unterstützt die Notwendigkeit von High-Level-Daten und Programmierabstraktionen für systematische und reproduzierbare Ansätze zur Entwicklung und Fehlersuche von robuster System-KI. Ein Teil unserer Arbeit wird sich darauf konzentrieren, den Stand der Technik bei der systematischen Entwicklung von KI der zweiten Welle voranzutreiben, die durch Ad-hoc-Prozesse in den Schritten Datenbeschriftung, Algorithmenauswahl, Architekturabstimmung, Training, Tests usw. gekennzeichnet ist. Fragen, die wir in diesem Zusammenhang stellen und beantworten werden, sind: Welche Konzepte werden für die Definition, Strukturierung und Entwicklung von Konzepten benötigt? Wenn Modelle die neuen Daten sind, die erzeugt, verwendet und zusammengestellt werden sollen, wie können wir sie dann richtig verwalten und welche Verfahren sind für die Abfrage und Verarbeitung dieser Daten geeignet? Welche Konzepte brauchen wir, um Modelle zu modularisieren und aus Teilmodellen zusammenzusetzen? Was ist die Entsprechung des parametrischen Polymorphismus für Modellfunktionen? Wie können wir Modelle und/oder Daten und Konzepte systematisch debuggen? Letztlich geht es um die Frage, wie das Lehren vom Lernen entkoppelt werden kann, und zwar in einer Weise, die es den Lehrern ermöglicht, Probleme in einer „Sprache“ ihres Fachgebiets zu spezifizieren, die sowohl die Variabilität der Lernalgorithmen als auch die der Laufzeit abschirmt.
(SD2) „Hybride KI“ verbindet kontinuierliche und kombinatorische KI-Ansätze, um die Generalisierung und Robustheit von KI zu verbessern. Der Hybridisierungsprozess bietet auch eine implizite Regularisierung, da z. B. strukturiertes Wissen helfen kann, unplausible tiefe Modelle zu verwerfen und Struktur zu schaffen.
Die erweiterte Schnittstelle zwischen kontinuierlicher und kombinatorischer Optimierung hat bereits zu einer Reihe von Durchbrüchen in beiden Bereichen geführt. Dazu gehören unter anderem neuartige Algorithmen für tiefe Netze auf und mit Graphen, kombinatorische Schichten in tiefen Netzen, neuartige Ansätze für (tiefe) probabilistische Inferenz in hybriden Domänen und neuartige neurosymbolische Ansätze. Doch die meisten der heutigen tiefen Netze liefern neben ihren Vorhersagen noch immer keine verlässliche Konfidenz. Auch in Bezug auf die Erklärbarkeit mangelt es den aktuellen tiefen Netzen in der Computer Vision noch deutlich. Erklärbarkeit ist aber ein wichtiges Desiderat für die Akzeptanz von Systemen der künstlichen Intelligenz im Allgemeinen. Es ist daher klar, dass die Deep-Learning-Gemeinschaft mehr tun muss, um diese wichtige Herausforderung anzugehen.
Forschungsfragen: Die größte Herausforderung besteht darin, verschiedene (Teilmengen von) Repräsentationen aus Logik, Datenbanken, Wahrscheinlichkeit, einschränkungsbasierten und neuronalen Modellen für das Lernen und Schlussfolgern zu integrieren oder sogar zu vereinen. Zu diesem Zweck werden wir (tiefe) probabilistische Schaltkreise und differenzierbare Maximal-Erfüllbarkeits-Löser sowie Rückwärtsdurchläufe durch kombinatorische Blackbox-Löser vollständig in neurosymbolische Ansätze integrieren und in den Bereich SD1 zurückspielen. Zu diesem Zweck werden wir (tiefe) probabilistische Schaltkreise und differenzierbare Maximal-Erfüllbarkeits-Löser sowie Rückwärtsdurchläufe durch kombinatorische Blackbox-Löser vollständig in neurosymbolische Ansätze integrieren und in den Bereich SD1 zurückspielen. Um Einblicke in die daraus resultierenden komplexen KI-Systeme zu gewinnen, werden wir Erklärungsmethoden für hybride KI-Modelle bereitstellen, die sich darauf konzentrieren, die Rationalitäten, Kontexte und Interpretationen der resultierenden Modelle mit Hilfe von Domänenwissen zu verstehen, anstatt sich auf die Transparenz der internen Berechnungsmechanismen zu verlassen. Zu diesem Zweck werden wir probabilistische Schaltkreise nahtlos mit tiefen neuronalen Netzen integrieren. Insgesamt ist es unser Ziel, die Verbindungen zwischen traditionellen und Deep-Learning-Methoden in Richtung Robustheit und Erklärbarkeit zu stärken.
(SD3) Die „KI zweiter Ordnung“ erforscht KI-Methoden „auf der Metaebene“, d. h. sie setzt KI-Methoden zur Automatisierung des KI-Entwicklungsprozesses ein, um so automatisch eine gute Leistung, Robustheit und Vertrauenswürdigkeit von KI-Systemen zu gewährleisten, insbesondere wenn sie von Menschen mit begrenzter KI-Expertise entwickelt, eingesetzt, gewartet und überwacht werden.
Ziel der automatisierten KI ist es, die arbeitsintensiven und fehleranfälligen Aspekte des Aufbaus von KI-Systemen sorgfältig zu automatisieren und so ihre Vertrauenswürdigkeit und Robustheit „by-design“ zu gewährleisten. Bestehende Arbeiten zur automatischen Algorithmenkonfiguration und Algorithmenauswahl haben bereits zu Verbesserungen des Stands der Technik bei verschiedenen Argumentations- und Optimierungsaufgaben geführt, z. B. beim Booleschen Erfüllbarkeitsproblem, bei der gemischt-ganzzahligen Programmierung, bei der Zeitplanung und bei der KI-Planung. Ebenso wird automatisierte ML allmählich auch außerhalb von Forschungslabors eingesetzt. Die derzeitigen Techniken berücksichtigen jedoch nicht alle Aspekte der 3AI. Nur sehr wenige Arbeiten befassen sich mit dem gesamten Kreislauf der Datenwissenschaft, einschließlich Fragen der Erklärbarkeit, Fairness und Verantwortlichkeit. Es gibt nur sehr wenige Arbeiten, die Gewinnung, Optimierung und Argumentation integrieren. Einige Ansätze verwenden Grammatiken oder feste Regeln, um Pipelines für das maschinelle Lernen zusammenzustellen, aber dies hat nur eine begrenzte Explorationsfähigkeit. Und schließlich brauchen wir automatisierte KI, die in der Lage ist, natürliche Gespräche mit Menschen zu führen.
Forschungsfragen: Für viele Probleme der realen Welt ist die automatisierte KI noch nicht ausgereift und flexibel genug. Insbesondere sind die derzeitigen automatisierten KI-Systeme nicht in der Lage, viele Arten von „unordentlichen“ realen Daten, wie Daten mit Fehlern und fehlenden Werten, syntaktisch zu verarbeiten. Wir werden die Ergebnisse der Bereiche SD1 und SD2 untersuchen, um unsere eigenen Arbeiten zu interaktiven Daten und automatischer Dichteanalyse auf automatisierte KI auszuweiten. Wir werden programmatische Abstraktionen des gesamten Data-Science-Zyklus (Merkmalsauswahl, Dimensionalitätsreduktion, Ausreißererkennung, Datenerweiterung und -verarbeitung usw.) innerhalb der automatisierten KI untersuchen. Die System-KI ermöglicht es, das richtige Gleichgewicht zwischen den Aspekten zu finden, deren Automatisierung uns sinnvoll erscheint, und den Aufgaben, an denen wir uns weiterhin beteiligen können. Die System-KI ermöglicht es, das richtige Gleichgewicht zwischen den Aspekten zu finden, deren Automatisierung uns sinnvoll erscheint, und den Aufgaben, an denen wir uns weiterhin beteiligen können. Fachwissen kann auf natürliche Weise in die automatisierte KI eingebracht werden, da sie ein Modul unter anderen in einem System-KI-Programmierrahmen ist und ihrerseits andere Module aufrufen kann. Anstatt die automatisierte KI als Abschaffung der menschlichen Beteiligung an der KI zu betrachten, stellen wir sie uns als die selektive Einbeziehung der menschlichen Beteiligung vor. Daher werden wir eine konversationelle KI-Sicht auf automatisierte KI entwickeln, die z.B. Reinforcement Learning (siehe z.B. Area AI2) sowie einen neuartigen nutzerzentrierten Repräsentationslernansatz verwendet.
Ziel der Mission Foundations of AI Methods ist es, schrittweise zu zeigen, wie anspruchsvolle KI/ML-Aufgaben in den Bereichen NLP, Robotik und Computer Vision mit Hilfe des Systems AI Paradigma gelöst werden können.
Heutige KI-Systeme können nur die Aufgaben ausführen, für die sie speziell programmiert und trainiert wurden, und sind von Natur aus anfällig für fatale Fehler, wenn sie mit Situationen konfrontiert werden, die nicht zu diesen gehören. Um dieses Problem zu lösen, werden wir untersuchen, wie wir KI-Methoden robuster machen können, indem wir sie durch modalitätsübergreifendes Denken, Interaktion mit der Umwelt und direkte Programmierung wissenschaftlicher Mechanismen weniger überwacht machen. Simulationen und deren Verknüpfung mit Beobachtungsdaten. Dies kann zusätzlich zu den Beobachtungsdaten sehr starke Wissenseinschränkungen bieten, die eine bessere Verallgemeinerung und ein schnelleres Training versprechen, unplausible Modelle verwerfen und im Gegenzug helfen können, konsistente, harmonisierte und gut kuratierte Datensätze in neuen Bereichen zu erstellen und verschiedene Arten von Verzerrungen in Beobachtungsdaten zu vermeiden.
Das Training präziser KI der zweiten Generation erfordert derzeit eine große Menge markierter und sauberer Daten. Die meisten Daten sind jedoch nicht beschriftet, heterogen, fragmentarisch, verrauscht und sogar multimodal. Um die Menge an gekennzeichneten Daten zu reduzieren, die für den Aufbau robuster KI-Systeme erforderlich sind, wird in (AI1) „Lernen aus verrauschten Daten und weniger Kennzeichnungen“ die System-KI für das gemeinsame Training mehrerer Modelle über verschiedene Modalitäten hinweg zusammen mit erlernbaren Bereichsheuristiken für die Kennzeichnung und Umwandlung der Daten untersucht. Darüber hinaus sind die derzeitigen KI-Systeme darauf beschränkt, nur die Aufgaben auszuführen, für die sie speziell programmiert und trainiert wurden, und sind von Natur aus anfällig für fatale Fehler, wenn sie mit Situationen konfrontiert werden, die außerhalb ihrer Möglichkeiten liegen.
Forschungsfragen: Unsere Welt ist multimodal. Wie der Mensch muss ein KI-System in der Lage sein, zu lernen und auf multimodale Weise über die Welt nachzudenken. Wie machen Menschen das und können Maschinen davon lernen? Können wir durch neue KI-Methoden menschliche Entscheidungen besser verstehen?
Modelle des maschinellen Lernens sind spröde, da ihre Leistung schon bei kleinen Änderungen in ihrer Betriebsumgebung stark abnehmen kann. Daher sind nach dem ersten Training zusätzliche Kennzeichnungen erforderlich, um diese Modelle an neue Umgebungen und Datenerfassungsbedingungen anzupassen. Bei vielen Problemen ist die Menge der markierten Daten, die zur Anpassung der Modelle an neue Umgebungen erforderlich sind, jedoch fast so groß wie die Menge, die zum Trainieren eines neuen Modells von Grund auf benötigt wird. Deshalb wollen wir den Prozess des Trainings von KI-Modellen effizienter gestalten. Wir werden strukturierte (tiefe) Netzwerkarchitekturen untersuchen, die von traditionellen Algorithmen und Modellen der Computer Vision und des NLP inspiriert sind, um Robustheit und Erklärbarkeit gleichzeitig zu verbessern. In particular, we will investigate hybrid deep neural networks for scene analysis that combine generative and conditional generative models with standard supervised learning paradigms. In particular, we will investigate hybrid deep neural networks for scene analysis that combine generative and conditional generative models with standard supervised learning paradigms. Wir werden multimodale und Multitasking-Lernmethoden untersuchen, die z. B. die gemeinsame Wasserstein-Variationsinferenz verwenden. Wir nutzen multiskalige autoregressive Priore in den hybriden Modellen (Bereich SD2), setzen selbstüberwachtes Lernen mit domänenspezifischen Verlustfunktionen und Schlussfolgerungsmechanismen ein, um unbeschriftete Daten zu nutzen (Bereich SD1), und verwenden domänenübergreifende Aufgaben zum gemeinsamen Lernen von Repräsentationen verschiedener Modalitäten. Wir werden untersuchen, wie verrauschte, multimodale Daten automatisch in strukturiertes Wissen (Entitäten, Beziehungen) umgewandelt werden können und wie sich daraus durch (probabilistisches, tiefes) Reasoning automatisch Labels ableiten lassen.
(AI2) „Entwicklungsfähige und lebenslang lernende KI“ wird die System-KI untersuchen, um KI-Systeme zu realisieren, die lernen (A) sich während der Aufgaben und durch die Interaktion mit den Nutzern (z. B. medizinischen Experten) verbessern und (B) frühere Modelle und Kenntnisse auf neue Situationen (eine neue Krankheit wie COVID-19) anwenden, ohne frühere Lernepisoden zu vergessen. Zu diesem Zweck wird auch untersucht, wie allgemeines Fachwissen und ein umfangreiches Repertoire an körperlichen Interaktionsfähigkeiten völlig autonom erlernt werden können, indem die Lernmechanismen und induktiven Verzerrungen, die der kognitiven Entwicklung von Säuglingen und Kindern zugrunde liegen, nachgeahmt werden. Zu diesem Zweck werden wir simulierte Roboter in virtuellen Umgebungen „aufwachsen“ lassen, wo sie anhand multimodaler sensorischer Informationen etwas über ihren Körper und ihre Objekte lernen und wie sie mit ihnen interagieren können.
Forschungsfragen: Wir werden die Herausforderung des entwicklungsorientierten und lebenslangen Lernens mit Hilfe von (Bayes’schen/tiefen) Verstärkungslernagenten angehen, die in komplexen virtuellen Umgebungen mit simulierter Physik „aufwachsen“ (Bereich AI3). Diese Agenten werden multimodalen Input verwenden (Bereich AI1) und durch wissens- und kompetenzbasierte intrinsische Motivationen angetrieben, ihre Welt zu erkunden. Auf diese Weise werden sie in der Lage sein, mit immer weniger Aufsicht von außen zu interagieren. Auf diese Weise werden sie in der Lage sein, mit immer weniger Aufsicht von außen zu interagieren. Eine zentrale Fragestellung wird die Selbstgenerierung von abstrakten Repräsentationen und Konzepten sein, in enger Zusammenarbeit mit Area AI3, aus denen die Agenten ihre eigenen Lernziele ableiten können.
Wir werden die kognitiven Mechanismen erforschen, die dem menschlichen Lernen zugrunde liegen und die in eine neue Generation von Computerarchitekturen, Mechanismen und Algorithmen in der KI einfließen werden. Sie werden dann als Komponenten komplexer KI-Systeme dienen (Bereich SD1). Im Laufe der Entwicklung kann das System immer abstraktere Konzepte von Halt und Stabilität entdecken und so selbständig ein naives Verständnis z. B. elementarer physikalischer Prinzipien entwickeln – eine Komponente des gesunden Menschenverstands und des Weltwissens (Bereich AI3). Um das Problem kleiner Datensätze zu bekämpfen, werden wir auch das Lernen von induktiven Vorurteilen aus Daten als interaktives Lernsetting behandeln (Bereich SD3), bei dem die Maschine ihre „kausale“ Erklärung dem Benutzer erklären muss. Außerdem werden wir das Verstärkungslernen erforschen, bei dem der Agent durch Aktionen und Eingriffe und die Beobachtung ihrer Auswirkungen sowie durch Simulatoren aus dem Bereich AI3 Faktoren entdecken kann. Insbesondere werden wir (erklärendes) interaktives sowie verstärkendes Lernen von Objekten und Beziehungen bewusst machen (Bereich AI3), um KI-Systeme robust gegenüber Veränderungen in der Umwelt (entweder visuelle oder mechanistische Veränderungen) zu machen, die in der Trainingsphase nicht gesehen werden. Insgesamt erwarten wir die Entwicklung neuer Methoden, die es KI-Systemen ermöglichen, während der Ausführung von Aufgaben zu lernen und sich zu verbessern, frühere Fähigkeiten und Kenntnisse auf neue Situationen anzuwenden, systemeigene Grenzen zu berücksichtigen und die Sicherheit bei automatisierten Aufgaben zu erhöhen.
Erzielung von Konsistenz durch Information der Systeme über die herrschenden Mechanismen und Beschränkungen eines Bereichs
Die Programmierung und das Training von KI-Systemen erfordert derzeit intensive menschliche Vorarbeit, um gute Daten zu erhalten. Dies erfordert die Integration von technischem Fachwissen zur Klassifizierung, Bewertung und Beschreibung hochwertiger Daten. Eine Alternative sind Simulationen, die auf Wissen, Mechanismen und Modellen aus anderen Bereichen oder anderen wissenschaftlichen Disziplinen basieren. Sie können dazu beitragen, die in der Simulation erlernten Fähigkeiten auf die Realität zu übertragen. Simulationen sind ein wichtiges Instrument in vielen wissenschaftlichen Bereichen und bieten im Allgemeinen eine Datenquelle für KI-Algorithmen, um komplexe Zusammenhänge und Fähigkeiten zu erlernen und sie auf die Realität zu übertragen. KI-Algorithmen können jedoch auch Simulationen beschleunigen und vervollständigen. Darüber hinaus werden wir über die Simulation hinausgehen und die KI auf Rechentheorien anderer wissenschaftlicher Disziplinen gründen. Insbesondere werden wir KI-Algorithmen untersuchen, die mit – zum Teil menschlichen – Agenten interagieren und ihr Verhalten durch diese Interaktion optimieren können. Eine solche Zusammenarbeit setzt voraus, dass Menschen und KI-Systeme partnerschaftlich zusammenarbeiten, um ein gemeinsames Ziel zu erreichen, indem sie ein gegenseitiges Verständnis für die Fähigkeiten und die jeweiligen Aufgaben des anderen entwickeln. Die Zusammenarbeit auf der menschlichen Ebene erfordert die Integration von Lernen, Denken, Wahrnehmung, Kommunikation und Interaktion auf der technischen Seite unter Einbeziehung von Computermodellen des menschlichen Verhaltens.
Forschungsfragen: Um eine bessere Einbindung von KI in reale und wissenschaftliche Systeme zu ermöglichen, werden wir neuartige KI-Architekturen und -Methoden entwickeln und untersuchen, die Physik, Mechanismen und Vorwissen in die System-KI „einbacken“. Wir wollen zeigen, dass die Einbettung von wissenschaftlichen Mechanismen und Vorwissen in die KI (z.B. über Simulationen, aber auch Methoden aus dem Bereich KI2) dazu beitragen wird, die Herausforderungen spärlicher Daten zu überwinden und die Entwicklung generativer Modelle zu erleichtern, die kausal und erklärend sind. Dies wird normalerweise durch Regression (GPs und neuronale Netze) angegangen, aber generative Modelle (GANs, normalisierende Flüsse) und RL könnten eine Alternative sein.
Effizientere Strategien sind erforderlich, wenn die Daten unterschiedliche Strukturen aufweisen, wie es in vielen realen Szenarien der Fall ist. Insbesondere Objekte und die Interaktionen zwischen ihnen bilden nicht nur den Kern der KI-Systemprogrammierung (Bereich SD1), sondern auch die Grundlage für unser Verständnis der Welt. Aber was ist ein „Objekt“ überhaupt? Abstraktionen rund um die Wahrnehmung bzw. Darstellung von Objekten. Entitäten spielen eine Schlüsselrolle bei der Entwicklung einer menschenähnlichen KI, indem sie hochrangige kognitive Fähigkeiten wie kausale Schlussfolgerungen, objektzentrierte Erkundung und Problemlösung unterstützen. Viele der aktuellen ML-Methoden konzentrieren sich jedoch auf einen weniger strukturierten Ansatz, bei dem Objekte nur implizit dargestellt werden, was eine Herausforderung für die Interpretierbarkeit und die Wiederverwendung von Wissen über verschiedene Aufgaben hinweg darstellt. Unser erstes Interesse gilt dem unüberwachten Lernen von Objektrepräsentationen.
Die Mission Life Sciences Tasks greift das in beiden anderen Misisonen entwickelte Paradigma der System-KI als Herausforderung in einem der wichtigsten Anwendungsbereiche der KI auf. Die leistungsstarken Systeme der zweiten KI-Welle verändern die Medizin bereits in vielerlei Hinsicht. Die Ansätze der zweiten Welle in den Biowissenschaften beruhen jedoch weitgehend auf sorgfältig gesammelten und zweckgebundenen Daten, während neu entstehende Daten für Deep Learning oft weniger strukturiert und für einen anderen Zweck bestimmt sind und verschiedene KI-Methoden kombiniert werden müssen, um eine indirekte Überwachung zu erreichen. 3AI kann wichtige Impulse für neue Forschungsansätze liefern, die über gezielte, hypothesenbasierte Ansätze und Spezialdaten hinausgehen.
(LS1) „System-KI für die Medizin jenseits der Bildanalyse“ wird untersuchen, ob System-KI für medizinische Aufgaben und Befunde auf einer Meta-Ebene und vor dem Hintergrund von komplexem Hintergrundwissen (z.B. Ontologien, Wissensgraphen und klinischen Leitlinien) lernen kann, Querverbindungen zwischen medizinischen Befunden besser zu erkennen als KI der zweiten Welle, und zwar auf statistisch valide Weise und unter den Bedingungen von Datenschutz, Vertraulichkeit und Fairness.
Der derzeitige Stand der Technik im Bereich der KI und insbesondere des maschinellen Lernens für die Medizin konzentriert sich in erster Linie auf die Analyse von Bildern aus verschiedenen Modalitäten (MRT, Röntgen, Ultraschall, mikroskopische Bilder aus der Pathologie usw.). Ein weiterer Schwerpunkt liegt auf Omics-Daten, die seit mehr als zwanzig Jahren mit Methoden des maschinellen Lernens analysiert werden. Trotz einiger Fortschritte bei der automatisierten KI werden Netzarchitekturen und -topologien in der Regel immer noch manuell für jedes neue Problem angepasst. Daher streben wir KI-Ansätze an, die über die Bildanalyse und die statistische quantitative Biomedizin hinausgehen.
Forschungsfragen: Im Einklang mit den Hauptthemen der dritten Welle der KI wollen wir das Schließen von medizinischen Aufgaben und Befunden auf einer Metaebene und im Lichte von komplexem Hintergrundwissen (z.B. Ontologien, Wissensgraphen und klinischen Leitlinien) untersuchen. Entdeckungsagenten, die auf der Grundlage der Bereiche SD2 und AI1 lernen, Querverbindungen zwischen Erkenntnissen auf statistisch valide Weise zu erkennen, sind das Thema, ebenso wie das Ziehen von Analogien auf hoher Ebene, Off-Policy Reinforcement Learning, Prozessmodellierung und Datenintegration auf der Ebene von Erkenntnissen und Wissen (Bereiche AI2 und AI3), über die Integration von Ansichten über verschiedene Datentypen in tiefen neuronalen Netzen hinaus. Die Herausforderung liegt unter anderem in der Konzeption und Entwicklung von so genannten Discovery Agents: autonome Agenten, die verfügbare Datenquellen (öffentliche, private und firmeneigene) analysieren, geeignete maschinelle Lernwerkzeuge auswählen, Erkenntnisse extrahieren, diese mit der Konzeption neuer In-silico-Experimente in Verbindung bringen, Experimente durchführen, Datenbanken abfragen, um die Ergebnisse zu interpretieren, andere, prototypische Instanzen finden, die den weiteren Verlauf der Ereignisse erklären können, und so weiter. Discovery Agents sollen die Art und Weise nachahmen, wie Menschen biomedizinische Daten analysieren, und erfordern daher die Bereiche SD1-3 und AI1-3.
(LS2) „Systems AI for Improved Cancer Diagnosis“ (System-KI für verbesserte Krebsdiagnose) untersucht, ob System-KI die Präzision der Diagnose und der klinischen Entscheidungsfindung bei soliden Prostata- und Blasenkrebsen auf der Grundlage virtueller Objektträger und zugehöriger Metadaten verbessern kann. Wir werden auch die automatisierte KI untersuchen und uns mit den regulatorischen, rechtlichen und ethischen Herausforderungen befassen, die mit der Sammlung, Weitergabe und Auswertung der virtuellen Dias verbunden sind.
Die Anwendung von KI-basierten Lösungen in der Krebstherapie für eine objektivere und reproduzierbarere Subklassifizierung von Krebs, insbesondere bei Fällen mit heterogener Histomorphologie, wird die Pathologie von einer subjektiven zu einer genaueren und prädiktiven diagnostischen Disziplin machen. Wir wollen die ersten Proof of Concepts nutzen, um KI auf die nächste Stufe zu heben und für die Klinik nutzbar zu machen. Ziel ist es, eine genauere Stratifizierung von Krebspatienten zu erreichen. Neben der histopathologischen Bildgebung und molekularen Omics-Daten ist die Radiologie eine weitere wichtige diagnostische Säule im klinischen Alltag. Radiomanalysen stellen eine weitere neue Strategie dar, um Krebs über die visuelle Wahrnehmung hinaus quantitativ und rechnerisch zu bewerten. Die Fähigkeit der Radiomikroskopie, die diagnostische Entscheidungsfindung zu unterstützen, wurde bei zahlreichen Krebsarten nachgewiesen, doch das Verständnis für geeignete Merkmale und Klassifizierungsalgorithmen ist noch begrenzt. Die Bedeutung der Integration digitaler histopathologischer Objektträgerinformationen in Kombination mit klinischen Beurteilungskategorien, radiologischen Merkmalen und molekularen Daten für den Vergleich prädiktiver Modelle zur Differenzierung von Krebsläsionen ist nach wie vor unklar.
Forschungsfragen. Wir werden die zentralen Fragen, die sich aus den obigen Ausführungen ergeben, mit Hilfe von Systems AI angehen, nämlich ob (i) Die derzeitigen KI-Methoden können relevante molekulare Veränderungen, das Patientenergebnis und die Heterogenität des Krebses allein anhand herkömmlicher histopathologischer Objektträger vorhersagen (Bereich A1), (ii) multimodale Integration verschiedener Datentypen (z. B. Bilder und molekulare Daten) (Bereiche SD2 und AI1) und kollaborative KI (Bereiche SD3 und AI2) die Diagnosegenauigkeit verbessern und (iii) wie KI-Systeme, die mit dem KI-Programmierrahmen von 3AI (Bereich SD1) entwickelt wurden, zum Nutzen von Patienten und Ärzten in die Klinik übertragen werden (Bereich AI2). Wir werden Prozesse zur Sicherung der Datenqualität und zur Normalisierung der Bildqualität definieren und einen rechtlichen und ethischen Rahmen entwickeln. Das Hauptziel ist es, die Arbeit der Mediziner zu verbessern, was zu einer hochgradig personalisierten Diagnostik und einem Patientenmanagement auf der Grundlage von System-KI führen soll. Der anfängliche Schwerpunkt liegt auf soliden Krebsarten wie Blasen- und Prostatakrebs, was als Vorbild für andere relevante diagnostische Anwendungsfälle dienen könnte.
(LS3) „Systems AI for Precision Medicine“ berücksichtigt strukturierte klinisch-pathologische Befunde, annotierte digitale histologische Bilder, molekulare Daten sowie bekannte (physikalische) Wechselwirkungen zwischen Genveränderungen und Medikamenten. Wir werden untersuchen, ob System-KI die Präzisionsmedizin verbessern kann, indem sie spezifischere und besser kontextualisierte Vorhersagen für jeden Patienten liefert.
Trotz der Fähigkeit heutiger KI-Methoden, komplexe, nichtlineare Zusammenhänge zu erkennen, müssen KI-gestützte Vorhersagen über die ferne Zukunft noch wesentlich präziser werden, bevor sie in der Praxis eingesetzt werden können, beispielsweise für eine verbesserte Kategorisierung von Patienten und eine Klassifizierung von Krankheiten in der Medizin (um eine Verschlechterung des Verlaufs chronisch kranker Patienten frühzeitig zu erkennen oder eine bessere Unterteilung von Krankheiten zu ermöglichen). Generell sind verbesserte Vorhersagemodelle wichtige Komponenten für digitale Assistenzsysteme, zum Beispiel in der klinischen Entscheidungsunterstützung für Diagnostik und Therapie. Der Bereich wird daher die Generalisierungsfähigkeiten von Methoden des maschinellen Lernens (insbesondere Deep Learning) in kleinen und großen Datensituationen verbessern, so dass Klassifizierungs- und Vorhersagemodelle, insbesondere in der Medizin und im Gesundheitswesen, einen besseren Blick in die Zukunft ermöglichen.
Forschungsfragen. Obwohl wir uns die Präzisionsmedizin als etwas Exploratives und nicht als etwas Gezieltes vorstellen, muss sie so gesteuert und überwacht werden, dass die statistische Validität stets gewährleistet ist, was eine der größten Herausforderungen für die Forschung in diesem Bereich sein wird. Ein Agent muss über statistisches Wissen verfügen, und zwar nicht nur über die klassische Statistik, sondern auch über moderne ML-Methoden, wobei ein besonderer Schwerpunkt auf dem biomedizinischen Bereich liegt (Bereich AI3). Dabei werden Methoden zur Entschärfung von Datensätzen (in Verbindung mit Methoden des fairen maschinellen Lernens) eine Rolle spielen und eingesetzt werden müssen. Um den Prozess trotz seines explorativen Charakters zu fokussieren, ist Hintergrundwissen in Form von medizinischen Ontologien, biologischem Grundlagenwissen und Wissensgraphen hilfreich, um die zu berücksichtigenden Entitätstypen einzugrenzen und damit die Qualität der Vorhersagen zu verbessern. Wir werden untersuchen, wie die statistische Zuverlässigkeit biomedizinischer Befunde in formale Wissensrepräsentationen wie Wissensgraphen integriert werden kann.
Wir werden neuartige Methoden der Grapheneinbettung entwickeln, die diese statistischen Informationen erhalten und somit zu genaueren Antworten auf Abfragen des Wissensgraphen führen, z. B. Abfragen, die Behandlungspläne mit dem Krankheitsverlauf oder dem Patientenergebnis in Beziehung setzen. Eine Weiterentwicklung der tiefen probabilistischen Programmierung (Bereich SD1) wird erforderlich sein, um stark zusammenhängende Fakten en bloc und nicht als einfache unzusammenhängende Fakten zu behandeln, um sowohl den Prozess der Vorhersage zu beschleunigen als auch ihre Qualität zu verbessern. Im Gesamtprozess werden Darstellungen aus probabilistischen Logiken, klassische Ideen wie Blackbox-Architekturen und Ideen aus dem statistisch-relationalen Lernen und Programmieren eine Rolle spielen.
In den letzten zehn Jahren hat Deep Learning (DL) zu bahnbrechenden Fortschritten in der künstlichen Intelligenz geführt, doch die derzeitigen DL-basierten KI-Systeme sind in vielerlei Hinsicht unvernünftig.