Why safe AI needs a holistic systems approach

Warum sichere KI einen ganzheitlichen Systemansatz braucht

Über Prof. Dr. Visvanathan Ramesh

Prof. Dr. Visvanathan Ramesh ist Professor für Software Engineering mit dem Schwerpunkt „Bio-inspirierte Sehsysteme“ an der Goethe-Universität Frankfurt und leitet dort das „Center for Cognition and Computation“.

Nach einem Studium in Indien und den USA promovierte er 1995 an der University of Washington über systematische Methoden zur Quantifizierung der Grenzen von Bildverarbeitungssystemen. Danach wechselte Ramesh von der Wissenschaft in die Industrie: Von 1995 bis 2011 arbeitete er bei Siemens Corporate Research in Princeton, wo er vom technischen Mitarbeiter zum Global Technology Field Leader aufstieg.. Sein Schwerpunkt lag auf Echtzeit-Vision-Systemen und maschinellem Sehen.

Prof. Dr. Visvanathan Ramesh

Im Jahr 2011 folgte Ramesh dem Ruf nach Frankfurt. Sein aktueller Forschungsschwerpunkt ist die transdisziplinäre Forschung im Bereich der Systemwissenschaften und der Entwicklung von Intelligenz.

Der Systemansatz für künstliche Intelligenz

In den letzten zehn Jahren hat die zunehmende Verfügbarkeit von Big Data und KI-Tools die Entwicklung und Anwendung von KI-Systemen in der realen Welt erheblich beschleunigt – und damit auch den Bedarf an Methoden, die solche KI-Systeme sicher machen.

Für Prof. Dr. Visvanathan Ramesh liegt die Lösung dieser Aufgabe in einer ganzheitlichen, transdisziplinären Systemperspektive, die traditionelles modellbasiertes Denken mit modernem, datengesteuertem maschinellem Lernen verbindet.

Dabei baut Ramesh auf einer dreißigjährigen Forschungsbasis auf und entwickelt skalierbare KI-Designs, die den Kontext der jeweiligen „Welt“, die Aufgaben und die Leistungsanforderungen auf transparente, erklärbare und kognitive Architekturen für jeden Anwendungsbereich abbilden.

So erforscht Ramesh u. a., wie KI-Systeme für den praktischen Einsatz in verschiedenen Branchen entwickelt werden können. Statistische Methoden zur Bildverarbeitung aus dem Deep Learning sind ein wichtiger Teil davon – aber es wird noch mehr benötigt.

„In meiner Forschung ging es immer darum, wie man Bildverarbeitungssysteme auf prinzipielle Art und Weise entwickeln kann, mit einem klaren Verständnis dafür, wo die Grenzen des Systems liegen“, sagt Ramesh. „Letztlich ist das System für einen bestimmten Zweck gebaut.“

Dies erfordert einen ganzheitlichen Systemansatz, der die Welt modelliert, in der das System funktionieren soll – einschließlich der Fragen, die das System beantworten soll, und der Leistung, die es erbringen soll.

„Solche Systeme müssen auch kommunizieren, wenn sie nicht mehr funktionieren“, sagt der Wissenschaftler. Nur so sind robuste KI-Systeme für den realen Einsatz möglich.

Klassische Ingenieursmethoden und neuronale Netze

In seiner Forschung modelliert Ramesh Anwendungsdomänen – oder Welten – für verschiedene Probleme. Ein Beispiel: die automatische Inspektion einer Brücke durch eine Drohne, die nach Rissen in der Struktur sucht.

„Ich habe bestimmte Prinzipien, nach denen ich das System entwerfen kann. Im Beispiel der Brücke heißt das etwa: Welche Eigenschaften haben sie, was werde ich dort sehen, welche Kamerasensoren verwende ich und so weiter“, sagt Ramesh. „Ich kann diese Informationen zum Beispiel aus der Wissenschaft beziehen und sie nutzen, um ein klares Bild eines kontextuellen Modells dieser ‚Welt‘ zu konstruieren.“

Anhand des Modells lässt sich dann z. B. ableiten, welche Bilder das KI-System sehen wird, welche wichtig sind und welche ignoriert werden können.

Dabei sind die für das Problem relevanten Variablen ebenso wichtig wie die nicht relevanten, so dass das System weiß, worauf es achten muss. Anschließend erstellen er und sein Team kausale und probabilistische Modelle. Moderne Deep-Learning-Methoden wie das unüberwachte Lernen können bei letzterem helfen, zum Beispiel bei Simulationen.

„Wir kombinieren klassische Ingenieursmethoden mit neuronalen Netzen“, erklärt der Wissenschaftler. Die daraus resultierenden Systeme werden oft auch als hybride KI-Systeme bezeichnet.

Zu diesem Thema tauscht sich Ramesh auch mit anderen Wissenschaftlern bei hessian.AI aus, etwa mit Prof. Dr. Kristian Kersting und Prof. Dr. Constantin Rothkopf, beide von der TU Darmstadt.

Kontinuierlich lernende Systeme und Mensch-Maschine-Interaktionen

Als zentrale Herausforderung beschreibt Ramesh die Entwicklung intelligenter Architekturen mit einem algorithmischen Kern, die kontinuierlich lernende Systeme ermöglichen. Kontinuierliches Lernen ist ein Thema, an dem auch andere hessische KI-Forscher arbeiten, darunter Martin Mundt, der an der TU Darmstadt und hessischer KI die Gruppe „Open World Lifelong Learning“ leitet und am „Center for Cognition and Computation“ von Ramesh promoviert hat.

Auch die Integration von Mensch und Maschine sieht er als eine wichtige langfristige Aufgabe an: „KI und Menschen sollten miteinander in Resonanz gehen, wir sollten uns natürlich integrieren, ergänzen und gemeinsam entwickeln“, sagt der Wissenschaftler. Die KI muss die Menschen verstehen und die Menschen müssen die KI verstehen.

Seine Arbeit besteht darin, KI-Systeme so in den Kontext einzubetten, dass sie ihre Aufgabe robust und vorhersehbar erfüllen. Auf diese Weise können sie in kritischen Bereichen wie dem Gesundheitswesen sicher eingesetzt werden, und auch in Zukunft können selbst die immer stärker skalierenden Systeme noch überprüfbar bleiben, so Ramesh abschließend.