Connectom Vernetzungs- und Innovationsfonds

Der Connectom Vernetzungs- und Innovationsfonds bietet eine Anschubfinanzierung für die gemeinsame Forschung von hessian.AI-Mitgliedern und anderen Kollegen an und zwischen den beteiligten Hochschulen. In einem kompetitiven Verfahren werden zeitlich begrenzte Vorhaben im gesamten Spektrum von Forschung, Lehre, Aufklärung oder Anwendung mit Mitteln i.H.v. von max. 40.000 EUR je Vorhaben gefördert. Der Connectom-Vernetzungsfonds wird einmal jährlich ausgeschrieben. Die Bewertung und Auswahl der zu fördernden Projektskizzen erfolgt durch eine Auswahlkommission, die sich aus Vertreterinnen und Vertretern aller an hessian.AI beteiligten Hochschulen zusammensetzt. Die eingereichten Skizzen werden auf Basis folgender Kriterien bewertet:

Antragsberechtigt sind Mitarbeitende der an hessian.AI beteiligten Hochschulen, die mindestens eine abgeschlossene Promotion nachweisen können. Teil des antragstellenden Konsortiums muss ein Gründungsmitglied von hessian.AI sein. Externe Forscherinnen und Forscher können als Kooperationspartner_innen am Vorhaben beteiligt sein, jedoch keine Fördermittel aus dem Connectom-Vernetzungsfonds erhalten.

Geförderte Projekte in der vierten Runde der Calls (2023)


Smart Assistant for Image-guided Needle Insertion

Dr. Anirban Mukhopadhyay, TUDa, FB Elektrotechnik und Informationstechnik
Prof. Dr. Jan Peters, TUDa, FB Informatik

Die ultraschallgeführte perkutane Nadelnavigation ist eine häufige Aufgabe für Kliniker, um Diagnosen (Biopsie) und Behandlungen (Ablation, neoadjuvante Therapie) durchzuführen. Solche Verfahren erfordern eine geschickte Bewegung der Nadel in Verbindung mit der U/S-Sonde. Je nach Einstichwinkel ist die Nadel auf dem U/S-Bild kaum sichtbar. Diese Aufgabe ist jedoch bei Patienten- und Gewebebewegungen eine Herausforderung und erfordert zwei ruhige Hände unter massiver kognitiver Belastung. Die zunehmende Krebsinzidenz in der alternden Bevölkerung Europas in Verbindung mit dem Mangel an qualifiziertem klinischem Personal macht die rechtzeitige Diagnose und Behandlung von Krebs zu einem kritischen Gesundheitsproblem. Unser Ziel ist es, einen intelligenten Roboterassistenten zu entwickeln, der ungelerntes Gesundheitspersonal in die Lage versetzen kann, routinemäßige Krebsdiagnosen und -behandlungen durchzuführen.


Multi-objective Design of Advanced Materials via Compensated Bayesian Neural Networks

Prof. Hongbin Zhang, TUDa, FB Materials Sciences
Prof. Grace Li Zhang, TUDa, FB Elektrotechnik und Informationstechnik

Das Projekt zielt darauf ab, einen auf neuronalen Netzen basierenden adaptiven Entwurfsrahmen zu entwickeln und ihn für den multikriteriellen Entwurf fortschrittlicher Materialien einzusetzen. Um dieses Ziel zu erreichen, sind robuste Konstruktionen latenter Räume und eine Quantifizierung der Unsicherheit erforderlich. Diese beiden Anforderungen können jedoch nicht direkt mit den herkömmlichen gewichtsbasierten neuronalen Netzen mit einwertigen Vorhersagen erfüllt werden. In diesem Projekt werden wir die Fehlerunterdrückung und -kompensation anwenden, um die Robustheit neuronaler Netze bei der Dimensionsreduktion zu verbessern, und die Unsicherheiten werden mit Bayes’schen neuronalen Netzen modelliert und bewertet, die auf statistischem Training basieren. Diese Implementierungen werden zur Durchführung eines adaptiven Mehrziel-Designs neuartiger funktioneller Materialien, einschließlich Permanentmagneten, thermoelektrischer Materialien und hochentropischer Legierungen, unter Verwendung der vorhandenen Datenbanken eingesetzt und zu einem generischen Rahmen für zukünftige autonome Experimente weiterentwickelt.


Nachhaltiger Getreideanbau durch KI-basierte Früherkennung von Schädlingen

Prof. Dr. Dominik L. Michels, TUDa, FB Computer Science
Prof. Dr. Bernd Freisleben, Philipps-Universität Marburg, FB Mathematik und Computer Science
Prof. Dr. Kristian Kersting, TUDa, Fachbereich Computer Science

Pflanzenschutzmittel kommen auf landwirtschaftlichen Feldern zum Einsatz, um Kulturpflanzen vor Schädlingen, Krankheiten und Unkräutern zu schützen. Dies begünstigt einerseits die Anbaupraktiken eng getakteter, monotoner Fruchtfolgen, geht allerdings mit hochgradig problematischen Einbußen bei der Landschafts- und Artenvielfalt einher. Ferner gelangen Rückstände der Pflanzenschutzmittel in Tiernahrung sowie in Nahrungsmittel für den Menschen und werden so auch von Verbraucher*innen konsumiert. Der Anbau von Getreide im benötigten Umfang (Klimawandel, Krieg in der Ukraine etc.) gelingt derzeit nur mit den Gebrauch enormer Mengen an Pflanzenschutzmitteln wie Pestiziden, Herbiziden, Fungiziden und Insektiziden. In der Folge erkranken jährlich jedoch rund 385 Millionen Menschen an Vergiftungen durch Pflanzenschutzmittel. Um die dramatischen Folgen der derzeitigen Form des Getreideanbaus für Natur, Mensch und Tier zu reduzieren, muss eine weitgehende Drosselung des Einsatz von Pflanzenschutzmitteln erfolgen. Statt Pflanzenschutzmittel großflächig auf ganzen Felder zu applizieren, sollten diese nur zielgerichtet an denjenigen Stellen eingesetzt werden wo dies wirklich angezeigt ist.
Dies erfordert eine automatische Früherkennung von Erkrankungen und Schädlingen. Zielsetzung dieses Forschungsvorhabens ist daher die Entwicklung eines Prototypen für ein Früherkennungssystem für Schädlinge im Getreideanbau. Dabei soll zunächst eine fliegende Drohne (UAV) Nahaufnahmen verschiedener Gruppen von Getreidepflanzen im Feld mit einer hochauflösenden Kamera aufnehmen. Anschließend werden diese Aufnahmen mittels computerbasiertem Sehen (Computer Vision) auf Anzeichen der sogenannten Hessenfliege (lat. Mayetiola destructor, eng. Hessian fly, auch als Getreideverwüster bekannt), einem der problematischsten Schädlinge im Getreideanbau, untersucht. Anschließend kann an den betroffenen Stellen zielgerichtet (Precision Spraying) ein geeignetes Insektizid versprüht werden. Die Teildisziplin des maschinellen Lernens (ML) der KI verfügt über geeignete tiefe neuronale Netzwerke (Deep Learning), mit denen sich die Erkennung der durch das Vorkommen der Hessenfliege vergilbten Stellen realisieren lässt.


„AI-ready Healthcare” Podcast

Dr. Anirban Mukhopadhyay, TUDa, FB Elektrotechnik und Informationstechnik

Bei der Entwicklung von KI-gestützter Technologie für das Gesundheitswesen, das ein hohes Risiko birgt und sehr menschlich ist, spielen öffentliches Engagement und offene Gespräche eine zentrale Rolle für die gesellschaftliche Bereitschaft für die Technologie. Daher ist die Verbreitung von Wissen im Gespräch mit den verschiedenen Interessengruppen von entscheidender Bedeutung und sollte nicht als nachträglicher Gedanke behandelt werden. Die globale akademische Gemeinschaft im Bereich der medizinischen KI nutzte jedoch das Potenzial des öffentlichen Engagements nicht in vollem Umfang aus, da es keinen entsprechenden Kanal gab. Der „AI-ready Healthcare“-Podcast schließt diese Lücke. Podcasts sind ein großartiges Medium für die Verbreitung von Wissen, konstruktiven Argumenten und tiefgründigen, aufschlussreichen Diskussionen. Indem wir uns fest auf die fortschrittliche KI-Technologie stützen, die in der akademischen Gemeinschaft entwickelt wurde, erkunden wir die dynamische Landschaft der KI im Gesundheitswesen. Wir sprechen mit internationalen Interessenvertretern mit ganz unterschiedlichem Hintergrund, z. B. mit Kollegen aus dem Bereich der medizinischen KI, mit Wissenschaftlern aus der Medizin, mit Kollegen aus der Industrie, mit Vertretern der Aufsichtsbehörden, mit Patientenvertretern und mit Befürwortern der globalen Gesundheit, um nur einige zu nennen. Diese Gespräche führen zu tiefen Einblicken in die translationalen Aspekte der KI-Forschung in der klinischen Versorgung, die in traditionellen Kommunikationsformen wie Peer-Review-Artikeln oft nicht diskutiert werden. Der Podcast hat eine doppelte Wirkung: Er erweitert den Horizont technischer Probleme für akademische Forscher und erhöht die Sichtbarkeit der medizinischen KI-Forschung erheblich.


Lifelong Explainable Robot Learning

Prof. Dr. Carlo D’Eramo, University of Würzburg and TUDa, FB Computer Science
Prof. Dr. Georgia Chalvatzaki, TUDa, FB Computer Science

Die aktuelle demografische Entwicklung und Berichte über den Mangel an Pflegepersonal machen den Bedarf an intelligenten Robotern, die als universelle Assistenten fungieren können, unabdingbar. Während Roboter Das Lernen von Robotern verspricht zwar, sie durch Erfahrung und Interaktion mit der Umgebung mit komplexen Fähigkeiten auszustatten, aber die meisten Methoden sind zu sehr auf einzelne Aufgaben zugeschnitten, die sich in der nicht-stationären realen Welt nicht gut verallgemeinern lassen. Umgekehrt lernen Menschen ständig und bauen dabei auf vorhandenem Wissen auf. Lebenslanges Lernen von Robotern setzt voraus, dass ein Agent Repräsentationen bilden kann, die für das kontinuierliche Erlernen einer Reihe von Aufgaben nützlich sind, um ein katastrophales Vergessen früherer Fähigkeiten zu vermeiden. Wir schlagen vor, eine Methode zu untersuchen, die es Robotern ermöglicht, durch multimodale Hinweise eine Reihe von Verhaltensweisen zu erlernen, die leicht zusammengesetzt werden können, um komplexere Verhaltensweisen zu synthetisieren. Wir schlagen vor, große vortrainierte Basismodelle für Sprache und Sehen in roboterorientierte Aufgaben einzubauen. Wir werden das Design neuartiger parameter-effizienter Residuen für lebenslanges Verstärkungslernen (RL) untersuchen, die es uns ermöglichen würden, auf früheren Repräsentationen aufzubauen, um neue Fähigkeiten zu erlernen und gleichzeitig die beiden Hauptprobleme der Aufgabeninterferenz und des katastrophalen Vergessens zu vermeiden. Entscheidend ist, dass wir den Vorwärts- und Rückwärtstransfer und die Inferenz unter dem Blickwinkel der Erklärbarkeit untersuchen, um Roboter in die Lage zu versetzen, Nicht-Experten Ähnlichkeiten zu erklären, die sie während ihres Trainingslebens bei verschiedenen Aufgaben gefunden haben, und sogar ihre Handlungen während der Ausführung einer Aufgabe in natürlichsprachliche Erklärungen umzusetzen. Wir argumentieren, dass die Erklärbarkeit eine entscheidende Komponente ist, um die Vertrauenswürdigkeit von KI-Robotern während ihrer Interaktion mit nicht fachkundigen Benutzern zu erhöhen. Daher nennen wir diesen Arbeitsbereich Lifelong Explainable Robot Learning (LExRoL), der neue Wege der Forschung auf dem Gebiet des lebenslangen Lernens und der Robotik eröffnet.


SPN to AI-Engine Compiler (SAICo)

Prof. Dr.-Ing. Andreas Koch, TUDa, Department of Embedded Systems and Applications (ESA)
Prof. Dr. Kristian Kersting, TUDa, Department of Computer Sciences

Das Artificial Intelligence and Machine Learning LAB (AIMLL) und das Fachgebiet Eingebettete Systeme und ihre Anwendungen (ESA) befassen sich seit mehreren Jahren mit verschiedenen Aspekten von Sum-Product-Networks (SPNs). SPNs sind ein eng mit der Klasse der probabilistischen graphischen Modelle verwandtes Machine Learning Modell und erlauben die kompakte Repräsentation von multivariaten Wahrscheinlichkeitsverteilungen mit effizienter Inferenz. Diese Eigenschaften erlauben beispielsweise die Ergänzung neuronaler Netze, um somit deren Genauigkeit zu steigern und Bewertungen der Vorhersagen zuzulassen. Im Kontext von SPNs ist SPFlow eine der relevantesten Software-Bibliotheken. SPFlow wird primär vom AIMLL entwickelt und gepflegt und erlaubt es, verschiedene Arten von SPNs schnell und einfach zu erstellen und zu trainieren. Dabei bietet SPFlow verschiedenste Möglichkeiten, SPNs zu erstellen: Standard Trainings-Routinen können genauso verwendet werden, wie eigene Trainingsansätze. Darüber hinaus ist SPFlow erweiterbar, sodass sowohl die Modelle, als auch Training und Inferenz, entsprechend adaptiert werden können. Im Rahmen einer losen Zusammenarbeit zwischen AIMLL und ESA entstand bereits 2018 ein Projekt, welches sich mit der Beschleunigung von SPN-Inferenz befasste. Das Know-How in Bezug auf MLIR und die Beschleunigunug von SPNs soll genutzt werden, um den SPNC so zu erweitern, dass dieser zukünftig auch die Kompilierung für AI Engines (AIEs) erlaubt. Das Gesamtziel des Projekts ist die Erschließung der AI Engines als mögliche Zielarchitektur für die SPN-Inferenz. Dabei sollen insbesondere auch verschiedene Möglichkeiten zur Optimierung der Modelle evaluiert werden, da insbesondere neue Architekturen häufig nur dann optimal genutzt werden können, wenn entsprechende Eigenheiten der Architektur, sowie der entsprechenden Modelle, ausgenutzt werden. Der Projektvorschlag SAICo kombiniert somit optimal die Compiler-/Architektur-spezifischen Erfahrungen des FG ESA mit dem Modell-bezogenen Know-How des AIMLL.


SyCLeC: Symposium on Continual Learning beyond Classification

Dr. Simone Schaub-Meyer, TUDa, FB Computer Science
Dr. Martin Mundt, TUDa, FB Computer Sciences

Die jüngsten Fortschritte im Bereich der künstlichen Intelligenz (KI) sind in weiten Teilen auf die Verbesserung von Leistungszahlen oder qualitativ ansprechenden Beispielen ausgerichtet. Dies mag zum Teil auf die Art und Weise zurückzuführen sein, wie wir einen herkömmlichen Arbeitsablauf für maschinelles Lernen einrichten. In der Regel beginnen wir mit der Definition einer begrenzten, genau definierten Aufgabe, sammeln Daten für diese Aufgabe, wählen ein statistisches Modell aus, um sie zu erlernen, und kommen später üblicherweise zu dem Schluss, dass ein Ansatz erfolgreich ist, wenn er bei den entsprechenden Testdaten gut abschneidet. Oft wird dieser Prozess mehrmals wiederholt, um das um das Ergebnis zu verbessern, indem man entweder das Modell optimiert (modellzentrierte Sichtweise) oder mehr Daten sammelt oder aufbereitet (datenzentrierte Sichtweise). Für gut durchdachte reale Systeme ist jedoch mehr erforderlich als nur die beste Leistungszahl bei einem Benchmark. Dedizierte Testsätze sind nicht nur dadurch begrenzt, dass sie die Varianz des Auftretens neuer, unbekannter Daten während des Einsatzes nicht berücksichtigen, sondern auch die verschiedenen Arten, in denen sich Aufgaben im Laufe der Zeit verändern. Eine einzige gute Zahl in einem Testsatz spiegelt daher nicht die Erfahrungen und Veränderungen, denen ein System in der realen Welt unterliegt. So sehr wir zu wissen scheinen, wie wir unsere beliebten statischen Benchmarks optimieren können, so wenig scheinen wir zu wissen, wie wir allgemeine Lernprozesse formulieren können, die in der Lage sind, kontinuierlich aus endlosen Datenströmen zu lernen und sich an veränderte Szenarien anzupassen und zu verallgemeinern, wie wir Menschen es tun.
Kontinuierliches oder lebenslanges maschinelles Lernen befasst sich mit den entscheidenden Fragen, die sich stellen, wenn man versucht, die Grenzen einzelner Trainingszyklen, starrer Inferenzmaschinen und fester Datensätze zu überwinden. Im Gegensatz zu herkömmlichen Benchmarks für maschinelles Lernen wird untersucht, wie Lernende ihr Wissen weiter nutzen, erweitern und anpassen können, wenn sie im Laufe der Zeit mit wechselnden und neuartigen Aufgaben konfrontiert werden. Im Mittelpunkt steht dabei die Erkenntnis, dass Datenauswahl, Modelle, Trainingsalgorithmen und Bewertungsmaßstäbe nicht statisch sind. Trotz ihrer jüngsten Popularität hat die aktuelle Forschung gerade erst begonnen zu verstehen, wie wir diese Faktoren in menschenähnlichen, lebenslang lernenden KI-Systemen unterbringen können. Obwohl derzeit laufende Bemühungen beginnen, komplexe Sequenzen von Datensätzen zu berücksichtigen, konzentrieren sie sich vorwiegend auf Bildklassifizierungsaufgaben. Leider vereinfachen solche Aufgaben das Lernen erheblich, z. B. indem sie nur eine Erkennung auf Bildebene durchführen und davon ausgehen, dass alle Daten immer beschriftet sind und dass das kontinuierliche Lernen hauptsächlich darin besteht, neue Objekttypen zu erkennen. In dieser Initiative wollen wir daher Forscher zusammenbringen, die im Bereich des kontinuierlichen Lernens und des Computersehens führend sind, um gemeinsam die Grundlagen für kontinuierliches Lernen jenseits der Klassifizierung zu schaffen. In einem Eröffnungssymposium werden wir Gemeinsamkeiten und Synergien im Hinblick auf kontinuierliches Lernen für eine Vielzahl relevanter Computer-Vision-Aufgaben, wie semantische Segmentierung und Lernen ohne Klassifizierung, herausarbeiten.


Neural cellular automata enables federated cell segmentation (FedNCA)

Dr. Anirban Mukhopadhyay, TUDa, FB Elektrotechnik und Informationstechnik
Prof. Dr. Heinz Koeppl, TUDa, FB Elektrotechnik und Informationstechnik

Der Trend zu immer ressourcenintensiveren Modellen steht im Widerspruch zu dem Ziel, Deep Learning für alle zu demokratisieren. Ein günstiger Zugang zur KI-Technologie und eine niedrige Eintrittsbarriere für die Teilnahme sind notwendig, um das Potenzial der Teilhabe auf der ganzen Welt zu fördern und voll auszuschöpfen. Die Möglichkeit einer weit verbreiteten Zusammenarbeit fördert die Sammlung vielfältiger Daten, was letztlich die Lösung komplexer Probleme ermöglicht. Dazu gehören auch sparsame digitale Gesundheitsinnovationen, die der letzten Milliarde Menschen Zugang zur Gesundheitsversorgung verschaffen könnten. Das föderierte Lernen ist eine praktikable Lösung, die jedoch aufgrund der hohen Netzwerkbandbreite und der Rechenanforderungen für Kliniken, die sich eine solche Infrastruktur nicht leisten können, unzugänglich ist. Das kürzlich aufkommende Gebiet der Neuronalen Zellularautomaten (NCA), bei denen es sich um Modelle handelt, die nur durch lokale Kommunikation zu einem definierten Ziel konvergieren, steht im Gegensatz dazu, da sie in Bezug auf Parameter und Rechenanforderungen leichtgewichtig sind. Das Training von NCAs in einer zentralisierten Umgebung ist jedoch bereits schwierig und ein föderiertes Training von NCAs wurde noch nie versucht. Wir schlagen vor, (1) das Fachwissen über Selbstorganisation mit der Erfahrung aus der Entwicklung der ersten NCA für die Segmentierung medizinischer Bilder zu kombinieren, um einen neuartigen, leichtgewichtigen föderierten NCA-Lern- und Inferenzalgorithmus zu entwickeln. (2) Die entwickelten Algorithmen werden im Rahmen der etablierten Zusammenarbeit mit Peter Wild vom Universitätsklinikum Frankfurt zur Segmentierung von Histopathologiebildern getestet. (3) Als extremes Beispiel wird die Fähigkeit des föderierten Lernens mit NCA über ein VAST-Netzwerk von billigen Computergeräten demonstriert.


The Algonauts Project Demonstrator: Explaining the brain with AI models

Prof. Dr. Gemma Roig, Goethe-University, FB Informatik

Das Algonauts-Projekt ist ein laufendes Projekt, das darauf abzielt, menschliche und maschinelle Intelligenz mit den neuesten algorithmischen Werkzeugen zu erforschen (Cichy et al., 2019). Auf diese Weise dient das Algonauts-Projekt als Katalysator, um Forscher aus dem Bereich der biologischen und maschinellen Intelligenz auf einer gemeinsamen Plattform zusammenzubringen, um Ideen auszutauschen und beide Bereiche in Form von Herausforderungen und gemeinsamen Workshops voranzubringen (http://algonauts.csail.mit.edu/). Hier schlagen wir vor, den anhaltenden Erfolg des Algonauts-Projekts zu nutzen, um junge Talente, einschließlich Gymnasiasten und Bachelor-Studenten, zu motivieren, die zukünftigen führenden Wissenschaftler im Bereich der KI aus einer interdisziplinären Perspektive zu werden. Zu diesem Zweck wollen wir einen Demonstrator bauen, der zeigt, wie KI-Modelle, insbesondere künstliche tiefe neuronale Netze, verwendet werden können, um die Funktionsweise des Gehirns zu enthüllen, die zu menschlichem Verhalten führt, und wie die gewonnenen Einsichten genutzt werden können, um das Design von KI-Modellen, die vom Gehirn inspiriert sind, zu leiten, die wünschenswerte Eigenschaften haben könnten, die der menschlichen Kognition ähnlich sind, wie z. B. die Modularität von Funktionen. Dies könnte Aufschluss darüber geben, wie ein transparenteres und erklärbares Verhalten der Modellentscheidungen unterstützt werden kann, sowie über die Entwicklung von Modellen, die robust gegenüber Störungen und Rauschen sind. Der Demonstrator soll interaktiv sein und eine benutzerfreundliche Schnittstelle bieten, um die drei wichtigsten Schritte zum Einsatz von KI-Modellen zum Verständnis des menschlichen Gehirns zu durchlaufen. Schritt 1 besteht in der Erfassung von Hirndaten von Menschen, die Bilder oder Videos betrachten, Schritt 2 in der Auswahl bestehender KI-Modelle oder der Erstellung eines eigenen Modells zur Erklärung der Hirndaten, und der dritte Schritt besteht darin, beide miteinander zu vergleichen, um Erkenntnisse darüber zu gewinnen, was im Inneren des Gehirns geschieht, während Menschen die Reize betrachten. Zu diesem Zweck werden wir in den Kern des Demonstrators unsere Labor-Toolbox namens Net2Brain integrieren, deren Zweck die Integration von KI-Modellen zur Vorhersage von Gehirndaten ist (Bersch et al., 2022). Wir werden sie verbessern und weiterentwickeln, so dass sie später auch der wissenschaftlichen Gemeinschaft zur Verfügung stehen kann. Ein wichtiges Ziel ist die Integration der KI-Modelle, die in hessian.AI entwickelt werden, z.B. solche mit menschlichen Lerncharakteristika, wie kontinuierliche Lernmodelle (Dr. Mundt) und verkörperte Modelle aus der Robotik (Prof. Chalvatzaki), sowie Interpretierbarkeits- und Erklärbarkeitsalgorithmen.


Entwicklung, Evaluation und Transfer von Data Science Tools für rechtszensierte und hochdimensionale Daten

Prof. Dr. Antje Jahn, Darmstadt University of Applied Sciences, FB Mathematik und Naturwissenschaften
Prof. Dr. Sebastian Döhler, Darmstadt University of Applied Sciences, FB Mathematik und Naturwissenschaften
Prof. Dr. Gunter Grieser, Darmstadt University of Applied Sciences, FB Informatik
Prof. Dr. Bernhard Humm, Darmstadt University of Applied Sciences, FB Informatik

Im Machine Learning (ML) sind quelloffene und freie Softwarepakete für verbreitete Ökosysteme wie R und Python verantwortlich für den Transfer in die Praxis und der Einstiegspunkt für viele Anfänger*innen in den Data Science Bereich. Fortgeschrittene Anwender:innen treffen die informierte Wahl ihrer Werkzeuge durch die Informationen aus der Wissenschaft, wo systematische Evaluationen verschiedener Pakete und Implementierungen diese Wahl für einen spezifischen Anwendungszweck unterstützen. Das übergeordnete Ziel dieses Projekts ist das Verfügbarmachen von Wissen zu neuen Methoden für hochdimensionale und rechts-zensierte Daten für Einsteiger*innen und erfahrene Anwender*nnen. Hochdimensionale Daten treten zum Beispiel im Gebiet des Text Mining oder der genetischen Statistik auf.
Basierend auf aktuellen Forschungen zu Goodness-of-Fit (GOF) Tests für hochdimensionale Daten soll ein R-Paket erstellt werden, welches die Anwendung dieser Methoden für die genannten Gebiete vereinfacht. Rechtszensierte Daten treten häufig in medizinischen Daten oder im Gebiet des predictive maintenance auf. Beispiele sind Prognosen von Überlebenswahrscheinlichkeiten unter verschiedenen medizinischen Interventionen oder die Vorhersage optimaler Wartungszeitpunkte für technische Geräte. Rechtszensierte Daten erfordern spezielle Methoden der Data Science, zu denen stellenweise unzureichende Unterstützung für eine informierte Auswahl von Implementationen zur Verfügung steht. Diese Unterstützung wird im vorliegenden Projekt bereitgestellt. Der Transfer der erzielten Ergebnisse soll unter dem Aspekt der „Third Mission“ wird u. a. in Form einer multimedialen Kampagne – bestehend aus einem Kurzvideokanal, einem Videokanal und einem Blog erfolgen.


KIPP TransferLab – KI in Planung und Produktion

Prof. Dr. Michael Guckert, THM, FB Mathematik, Naturwissenschaften und Datenverarbeitung
Prof. Dr. Thomas Farrenkopf, THM, FB Mathematik, Naturwissenschaften und Datenverarbeitung
Prof. Dr. Nicolas Stein, THM, FB Mathematik, Naturwissenschaften und Datenverarbeitung
Prof. Holger Rohn, THM, FB Wirtschaftsingenieurwesen
Prof. Dr. Udo Fiedler, THM, FB Wirtschaftsingenieurwesen
Prof. Dr. Carsten Stroh, THM, FB Wirtschaftsingenieurwesen

Kleine und mittlere Unternehmen (KMU) stehen heutzutage unter zunehmend hohen Innovationsdruck. Sie operieren mit begrenzten finanziellen und personellen Ressourcen und müssen damit komplexe Fertigungsstrukturen, häufig mit Einzel- und Kleinserienfertigung, betreiben. Effizienzsteigerung in der Produktion besitzt häufig existentielle Bedeutung. Limitierte Kapazitäten zwingen sie darüber hinaus zu einem effizienten Einsatz der vorhandenen Produktionsmittel bei gleichzeitig steigenden Qualitätsanforderungen der Märkte.
Künstliche Intelligenz (KI) in der Produktion kann in einer Vielzahl von Unternehmensprozessen eingesetzt werden und nachhaltige Effekte bewirken. Eine systematische, automatisierte Erhebung von Daten, die während der Fertigung unmittelbar in den Maschinen anfallen, erlaubt eine konsequente Anwendung von KI-Algorithmen und unterstützt genauere Vorhersagen der tatsächlichen Ressourcennutzung.
Aus den Daten gewonnene Erkenntnisse können Prognosen von Ausbringungsmengen und -qualitäten oder Maschinenverfügbarkeiten ermöglichen. Unmittelbare Effekte einer solchen intelligenten Maschinen- und Prozessüberwachung sind eine höhere Liefertreue, eine effizientere Auslastung der Ressourcen im Unternehmen (inkl. Energie- und Ressourceneffizienz) und eine erhöhte Transparenz über den Zustand der eingesetzten Fertigungsanlagen. Um den KI-Reifegrad in KMUs voranzubringen, soll das hohe Potential der Technologie mit Hilfe von Demonstratoren in einer realen Laborumgebung dargestellt werden. Dabei können bereits gesetzte Impulse für die Einführung von KI als Hebel genutzt werden und neben den bereits bekannten Einsatzmöglichkeiten mit der systematischen Umsetzung begonnen werden. So wird neben den Verfahren auch der operative Einsatz in einer Laborumgebung anhand von Demonstratoren gezeigt.


Automatische Klassifikation toxischer und falscher Inhalte für die junge Generation mit erweiterten KI-Methoden

Prof. Dr. Melanie Siegel, Darmstadt University of Applied Sciences, FB Informatik
Prof. Dr. Bernhard Humm, Darmstadt University of Applied Sciences, FB Informatik

Die Idee der sozialen Medien war es ursprünglich, einen möglichst offenen Informations- und Meinungsaustausch zwischen den Menschen zu ermöglichen und damit die Kommunikation zu unterstützen. Diese Idee der sozialen Teilhabe wird durch aktuelle Entwicklungen massiv gestört: Wo ein offener Meinungsaustausch über politische Themen möglich war, werden die Foren zunehmend von Hass und Gewaltandrohungen überschwemmt. Wo der freie Zugang zu Informationen das Ziel war, werden zunehmend falsche Tatsachenbehauptungen in den Raum gestellt und teilweise automatisch weiterverbreitet. Dabei werden Texte, Bilder und Videos verwendet und miteinander semantisch verknüpft. Besonders für Kinder und Jugendliche wird es immer schwieriger, Informationen einzuordnen. Die Erkennung von toxischer Information kann grundlegend auf zwei verschiedene Weisen geschehen: intrinsisch durch die Analyse und Bewertung publizierter Inhalte oder extrinsisch durch die Bewertung solcher Inhalte im Kontext anderer Informationen. Man muss einen Beitrag als harmlose Neckerei oder Meinungsäußerung, Beleidigung, Diskriminierung oder gar Bedrohung einordnen können.
Darüber hinaus muss zwischen einer harmlosen privaten Falschbehauptung, einer gesellschaftlich relevanten Falschbehauptung, die zumindest journalistisch kommentiert werden sollte, bis hin zu strafrechtlich relevanten Akten der Desinformation unterschieden werden. Automatische Verfahren können bei der Einordnung helfen, wie schon das Projekt DeTox gezeigt hat. Dennoch ändern sich Themen und Sprache der toxischen Inhalte kontinuierlich, sodass es erforderlich ist, dass die Modelle (automatische Verfahren – intelligente Systeme) regelmäßig dazulernen müssen. Bei Modellen, die auf neuronalen Netzen basieren, kann ein Weitertrainieren aber dazu führen, dass vorher trainierte Inhalte überschrieben werden und die Modelle nun auf den ursprünglichen (alten) Daten nicht mehr funktionieren (“Catastrophic Forgetting”). Ein komplettes Neutrainieren (Retraining) ist aufgrund der hohen Modellkomplexitäten und dem damit verbundenen hohen Rechenaufwand meist nicht praktikabel. Falschmeldungen setzen sich nicht nur aus der Sprache (Text) zusammen. Um Meinungen zu transferieren, werden Bilder und Texte oft aus einem anderen Kontext zusammengefügt und in einen neuen, nichtexistierenden Kontext gesetzt. Dies macht eine menschliche und automatische Erkennung besonders schwierig. Daher braucht man Ansätze, die den Text und das Bild in einem Zusammenhang analysieren.


Cooperation in the Repeated Prisoner’s Dilemma with Algorithmic Players / Wie kooperativ sind Menschen und KI-Algorithmen?

Prof. Dr. Oliver Hinz, Goethe University Frankfurt, FB Wirtschaftswissenschaften
Prof. Dr. Matthias Blonski, Goethe University Frankfurt, FB Wirtschaftswissenschaften

Ziel des Projekts an der Schnittstelle zwischen KI und Mikroökonomie ist es, zu verstehen, wie sich kooperatives Verhalten bei wiederholter Interaktion mit lernenden Maschinen anstatt mit Menschen verändert. Hierzu werden folgende Forschungsfragen betrachtet: Wie verändert sich die Bereitschaft zur Kooperation im wiederholten Gefangenendilemma, wenn einer der Spieler durch einen künstlich intelligenten Algorithmus ersetzt wird? Wie hängt diese Bereitschaft von der erwarteten Spieldauer und vom Wissen des Menschen über die Identität des Gegenspielers ab? Resultieren eventuelle Unterschiede im Kooperationsverhalten aus der veränderten Natur des Gegenspielers (Mensch oder Maschine) oder aus abweichendem strategischem Verhalten?


The virtual doc: An AI-based medical decision support system

Prof. Dr. Dominik Heider, Philipps-Universität Marburg, FB Mathematik und Informatik
Prof. Dr. Thorsten Papenbrock, Philipps-Universität Marburg, FB Mathematik und Informatik
Prof. Dr. Bernd Freisleben, Philipps-Universität Marburg, FB Mathematik und Informatik

Die COVID-Pandemie hat die Schwächen der Gesundheitssysteme weltweit und den immensen Druck, dem Ärzte ausgesetzt sind, offenbart. Darüber hinaus schätzt die WHO, dass bis 2035 12,9 Millionen Fachkräfte im Gesundheitswesen fehlen werden. Das Projekt Virtual Doc zielt darauf ab, das medizinische Personal durch den Einsatz fortschrittlicher Sensortechnologien und modernster Methoden der künstlichen Intelligenz (KI) zu unterstützen. Der virtuelle Arzt führt in einer intelligenten Untersuchungskabine verschiedene medizinische Aufgaben mit einem Patienten durch. Die Sensoren in der Kabine messen nicht-invasive Parameter (z. B. BMI, Herzfrequenz, Puls) und die Computerinfrastruktur erfasst interaktiv die Krankengeschichte des Patienten, um invasive Messungen zu vermeiden. Die klinischen Parameter werden den Ärzten zur Verfügung gestellt, einschließlich fortgeschrittener Krankheitsprognosen auf der Grundlage von Modellen des maschinellen Lernens für bestimmte (oder noch unbekannte) Krankheitsbilder (z. B. Diabetes mellitus Typ 2 (T2DM)). Auf diese Weise kann der virtuelle Arzt das medizinische Personal von diesen Aufgaben entlasten, so dass Kapazitäten für Behandlung, Notfälle und Pflege geschaffen werden. Mit diesem Projektantrag wollen wir unseren bestehenden Prototyp des virtuellen Arztes um weitere Sensoren und Analysemodule erweitern und mögliche Fehlerquellen beseitigen. Außerdem wollen wir die Zusammenarbeit in diesem vielschichtigen Projekt stärken, indem wir weitere Forschungsgruppen und deren Expertise in die Entwicklung des virtuellen Arztes einbeziehen. Inwieweit eine solche KI-gestützte Voruntersuchung sinnvoll ist und von der Bevölkerung akzeptiert wird, soll parallel mit Hilfe einer Befragung (Kooperation mit Prof. Dr. Michael Leyer, Fachbereich Wirtschaftswissenschaften, Uni Marburg) und einer Vor-Ort-Testung in einer Doppelkabine am Universitätsklinikum Bochum (Kooperation mit Prof. Dr. Ali Canbay, UK RUB) untersucht werden.


Visuelle Analyse zur Vorhersage relevanter Technologien durch neuronale Netze (VAVTECH)

Prof. Dr. Kawa Nazemi, Hochschule Darmstadt, Fachbereich Informatik
Prof. Dr. Bernhard Humm, Hochschule Darmstadt, Fachbereich Informatik

Neue Technologien, aber auch bereits vorhandene nicht genutzten Technologien, haben das Potenzial, die Innovationskraft von Unternehmen nachhaltig zu steigern und deren zukünftigen Erfolg zu sichern. Werden diese relevanten Technologien sowie die damit verbundenen neuen Anwendungsbereiche jedoch nicht früh genug erkannt, können sich Mitbewerber frühzeitig in diesen Bereichen etablieren. Des Weiteren bergen außer Acht gelassene neue Technologien das Risiko, bei Markteintritt den entsprechenden Markt disruptiv zu verändern und unvorbereitete Unternehmen zu verdrängen. Eine valide Analyse und Vorhersage potenzieller zukünftiger Technologien ist demnach wichtiger als je zuvor. Im Rahmen des Projekts VAVTech soll ein visuelles Analysesystem entwickelt werden, das es dem Menschen ermöglicht, relevante Technologien möglichst früh zu erkennen und deren potenziellen Verlauf vorherzusagen.
Als Datenbasis für das Analysesystem sollen wissenschaftliche Publikationen dienen, da diese die jeweiligen Technologien in einem sehr frühen Stadium vorstellen und somit für die Technologiefrüherkennung geeignet sind. Das System wird in erster Linie neuronale Netze und interaktive Visualisierungen kombinieren und Unternehmen, Unternehmensgründern sowie strategischen Berater*innen eine Analyse und Vorhersage von Potenzialen neuer und weitestgehend unbekannter Technologien erlauben. Das neuronale Netzwerk soll modular entwickelt werden, sodass der Transfer in anderen Domänen gewährleistet wird. Im Rahmen des Projektes soll ein funktionierender Demonstrator mit Realdaten entstehen und den Grundstein für weitere Arbeiten im Bereich der strategischen Vorausschau durch die Anwendung der Methoden der künstlichen Intelligenz legen. Der Demonstrator wird sowohl zur Drittmittelakquise, zur Vernetzung mit weiteren KI-Forscher*innen und zur Sichtbarkeit der Forschung, durch Visualisierungen, dienen.


Women in the Field of AI in Healthcare “Women AI Days

Prof. Dr. Barbara Klein, Frankfurt University of Applied Sciences, FB Soziale Arbeit und Gesundheit
Prof. Dr. Martin Kappes, Frankfurt University of Applied Sciences, FB Informatik und Ingenieurwissenschaften

Die UNESCO-Empfehlung zur Ethik künstlicher Intelligenz formuliert weltweit akzeptierte Standards für KI-Technologien, zu denen sich 193 Mitgliedsstaaten bekannt haben. Ethische Regeln sind dabei mit menschenrechtlichen Verpflichtungen verknüpft und es wird ein Fokus auf die sog. Blind Spots wie z. B. KI und Gender, Bildung, Nachhaltigkeit u. a. gelegt. Für Deutschland wird hier großer Handlungsbedarf bei der Gleichbehandlung und bei der Diversität der KI-Entwickler*innenteams gesehen. Diversität gilt als eine der Voraussetzungen, um eine entsprechende Berücksichtigung in der Programmierung von KI erhalten zu können. Das Feld der künstlichen Intelligenz in Deutschland benötigt unter anderem einen höheren Frauenanteil, um in Zukunft soziale Verzerrungen und Ungleichbehandlungen der Geschlechter durch unbewusste Bias in Algorithmen zu vermeiden. Gerade im Gesundheitswesen und der Medizin sind Frauen unzureichend berücksichtig, was zu fatalen Auswirkungen in der medizinischen Versorgung führt, wenn z. B. Medikamente nur mit Männern getestet wurden.
Die Zugänge für Frauen in klassische Männerdomänen wie den IT-Sektor sind oft immer noch schwierig. Ziel des Vorhabens ist deshalb ein dreitägiger Impulsworkshop (Women AI Days) zur Vernetzung nationaler Expertinnen sowie einer Analyse von Bedarfen, um z. B. den Frauenanteil zu stärken und die Forschungs- und Arbeitsbereiche für Nachwuchstalente sichtbar zu machen. Durch begleitendes Social Media, eine Publikation und anschließende Public Lectures an der Frankfurt UAS sollen die Inhalte der Öffentlichkeit schwerpunktmäßig in Hessen bekannt gemacht werden.


Systematic evaluation of AI explainability techniques through a case-study in biology

Prof. Dr. Gemma Roig, Goethe University Frankfurt, FB Computer Science
Prof. Dr. Visvanathan Ramesh, Goethe University Frankfurt, FB Computer Science

KI kann Feldbiologen bei taxonomischen Aufgaben unterstützen, bei denen sie die Art eines Tieres anhand von Bildern bestimmen. Die Herausforderung dabei ist, dass der Unterschied zwischen Arten derselben Gattung sehr subtil sein kann und von spezifischen Merkmalen des Tieres oder der Pflanze abhängt. Eine Möglichkeit, die Biologen bei dieser Aufgabe zu unterstützen, ist der Einsatz von erklärbarer KI (XAI) zusammen mit wahrscheinlichen Ergebnissen. Anstatt ein einziges Klassifizierungsergebnis zu produzieren, produziert die KI die wahrscheinlichsten Kandidatenergebnisse und erklärt auch, welche Teile des Bildes für die jeweiligen Ergebnisse wichtig sind. Auf diese Weise können die Erklärungen den Biologen helfen, das richtige der vorgeschlagenen Ergebnisse zu finden und die Ergebnisse der KI effizient in ihren eigenen Entscheidungsprozess zu integrieren, um ihre Leistung und Geschwindigkeit zu verbessern. Wir schlagen daher vor, eine Fallstudie durchzuführen, in der wir mithilfe von Fragebögen und strukturierten Interviews qualitativ bewerten, wie bestehende XAI-Algorithmen „von der Stange“ in diesem spezifischen Umfeld funktionieren, analysieren, welche spezifischen Anforderungen die Fachexperten an eine KI-Erklärung haben, und untersuchen, wie bestehende XAI-Techniken angepasst werden können, um ihren Bedürfnissen besser zu entsprechen. Das domänenspezifische Wissen und die Daten werden von Prof. Thomas Wilke und dem Systematics & Biodiversity Lab der Justus-Liebig-Universität Gießen zur Verfügung gestellt.


Geförderte Projekte in der dritten Runde der Aufforderungen (2022)


Ermöglichung von multimodaler und mehrsprachiger Argumentationsanalyse in Gerichtsverhandlungen

Dr. Ivan Habernal, TUDa, FB Computer Sciences
Prof. Dr. Christoph Burchard, Goethe Universität Frankfurt, Faculty of Law

Dieses bewusst interdisziplinär angelegte Projekt dient der Forschung zum Verständnis der juristischen Argumentation in den Anhörungen des Europäischen Gerichtshofs für Menschenrechte. Die Anhörungen des EGMR sind nur als Videoaufzeichnungen mit gemischten Sprachen, einschließlich Muttersprachlern und Nicht-Muttersprachlern, verfügbar. Ziel ist es, einen Basisdatensatz zu erstellen, der 1) NLP-Forschern als Grundlage für den Aufbau und die Evaluierung von NLP-Rechtsmodellen dient und 2) Rechtswissenschaftlern die Beantwortung empirischer Rechtsfragen im Zusammenhang mit den vor dem Gerichtshof vorgetragenen Argumenten ermöglicht.


Zuverlässige Anonymisierungsmethoden für Sprachverstehensmodelle zur Unterstützung der Kommunikation mit Fluglotsen

Charles Welch, Ph.D., PU Marburg, FB Computer Sciences
Dr. Ivan Habernal, TUDa, FB Computer Sciences

Ziel des Projekts ist es, hochsensible betriebliche Sprachdaten von Fluglotsen für Forschungs- und Entwicklungszwecke zu erschließen, um die Leistung und Sicherheit der DFS-Dienste durch effektive spracherkennungsbasierte Lotsenassistenzsysteme zu verbessern. Das geplante Folgeprojekt in den Jahren 2023-2025 zielt darauf ab, robuste domänenspezifische Spracherkennungs- und semantische Annotationsmodelle zu entwickeln, um die Kommunikationsprotokollierungsaufgaben der Fluglotsen zu automatisieren.


KIDeR – KI basierte Detention von Rissbildung in Bahnschwellen

Prof. Dr. Michael Guckert, TH Mittelhessen, Fachbereich Mathematik, Naturwissenschaften und Datenverarbeitung, FG Wirtschaftsinformatik – Künstliche Intelligenz
Prof. Dr. Gerd Manthei, TH Mittelhessen, Fachbereich Maschinenbau und Energietechnik

Das Projekt soll mit der SE-Prüfung (Schallemissionsmessungen) Rissbildung in Spannbetonschwellen im Betrieb untersucht werden, um einen besseren Einblick in das Schadverhalten zu erhalten. Die Analyse der Messrechen und deren Klassifikation ist ein typischer Anwendungsfall für Ansätze der Künstlichen Intelligenz (etwa für Deep Learning (DL) Modelle). Ziel von KIDeR ist die Entwicklung eines Prototypen eines leistungsfähigen, zerstörungsfreien Prüfverfahrens zur Detektion von Rissbildung in Bahnschwellen im Betrieb. Eine besondere Herausforderung ist hierbei die Differenzierung von echten Schallemissionen und Umgebungsgeräuschen.


AI4BirdsDemo: Ein Demonstrator für die robuste Erkennung von Vogelarten in beliebigen Geräuschumgebungen

Dr. Markus Mühling PU Marburg, FB Mathematics & Computer Science
Prof. Dr. Nina Farwig, PU Marburg, FB Biology
Prof. Dr. Bernd Freisleben, PU Marburg, Dept. of Mathematics & Computer Science, Distributed Systems and Intelligent Computing

Das Projekt stützt sich auf die Vorarbeiten zur Erweiterung des Projekts AI4Birds um eine Softwareanwendung, die die öffentliche Sichtbarkeit der Arbeit erhöht und die Qualität des Vogelartenerkennungsmodells demonstriert. Das Team wird ein Modell zur Erkennung von Vogelarten in der realen Welt entwickeln, das die zuvor erwähnten Herausforderungen, wie z. B. Daten außerhalb des Verbreitungsgebiets, angeht, um die Robustheit ihres Ansatzes zur Erkennung von Vogelarten zu verbessern.


Geförderte Projekte in der zweiten Runde der Aufforderungen (2022)


Accelerating Cardinality Estimation (ACE)

Prof. Dr.-Ing. Andreas Koch, TUDa, Department of Embedded Systems and Applications (ESA)
Prof. Dr. Carsten Binnig, TUDa, Data Management

Sum-Product-Networks (SPNs) gehören zur Klasse der graphischen probabilistischen Modelle und erlauben die kompakte Repräsentation von multivariaten Wahrscheinlichkeitsverteilungen. Während das Fachgebiet ESA vornehmlich die Beschleunigungsmöglichkeiten von SPNs untersucht hat, hat das FG DM sich damit befasst, für welche Anwendungsfälle im Bereich der Datenbanken SPNs genutzt werden können. Hierzu zählt z.B. die Cardinality Estimation. Sie kann verwendet werden, um die Ergebnisgrößen von Datenbank-Anfragen vorherzusagen und damit die Anfragenbearbeitung von Datenbank Management Systems (DBMS) zu optimieren. Das Gesamtziel des Projekts ist die generelle Beschleunigung der Cardinality Estimation mittels RSPNs (Relationale SPNs), die Automatisierung des Entwicklungs- und Trainingsprozesses der RSPNs sowie darüber hinaus die Untersuchung der potentiellen Nutzbarkeit im Kontext von großen Datenbanken. Die Erweiterung des SPNC, sowie die Bereitstellung entsprechender Trainingsprozesse versprechen in der Kombination hochinteressante, praktisch relevante Forschungsergebnisse, die auch in die anderen Projekten in den beiden beteiligten FGs eingehen können.


AI4Birds: Bird Species Recognition in Complex Soundscape Recordings

Dr. Markus Mühling PU Marburg, FB Mathematics & Computer Science
Prof. Dr. Nina Farbig, PU Marburg, FB Biology
Prof. Dr. Bernd Freisleben, PU Marburg, Dept. of Mathematics & Computer Science, Distributed Systems and Intelligent Computing

In diesem Projekt konzentrieren wir uns auf die automatische Erkennung von Vogelarten in Audioaufnahmen. Um die derzeitigen Überwachungsprogramme für die biologische Vielfalt zu verbessern, wird AI4Birds Tonaufnahmen in einem Waldökosystem verwenden, um neuartige Transformatormodelle zu entwickeln, die auf Selbstbeobachtung basieren, um Vogelarten in Klanglandschaften zu erkennen. Daher steht die Nachhaltigkeit im Hinblick auf die biologische Vielfalt im Mittelpunkt des Projekts. Die Nachhaltigkeit der Fortführung von AI4Birds durch die Einwerbung zusätzlicher finanzieller Mittel ist sehr wahrscheinlich; es ist geplant, AI4Birds zu nutzen, um die Finanzierungsmöglichkeiten im Rahmen der Bundesprogramme zur Förderung der biologischen Vielfalt auszuloten. Darüber hinaus planen wir, unsere Ergebnisse in Microsofts „AI for Earth“-Initiative einzubringen.


AIQTHmed | AI Quality and Testing Hub in Healthcare

Prof. Dr. Martin Hirsch, Artificial Intelligence in Medicine, UMR and Director of the Institute for Artificial Intelligence at UKGM Marburg
Prof. Dr. Thomas Nauss, Department of Mathematics, Natural Sciences and Data Processing, FG Business Informatics – Artificial Intelligence, PU Marburg

Im Mai 2021 vereinbarten die Hessische Ministerin für Digitale Strategie und Entwicklung und der VDE die Einrichtung eines ersten bundesweiten „AI Quality & Testing Hub“ (AIQTH1). Im Umfeld von hessian.AI und dem Zentrum für Verantwortungsvolle Digitalisierung (ZEVEDI) soll damit die Qualität und Vertrauenswürdigkeit von KI-Systemen durch Standardisierung und Zertifizierung in den modellhaften Themenfeldern „Mobilität“, „Finanzen“ und „Gesundheit“ gefördert und für die Bevölkerung überprüfbar und glaubwürdig gemacht werden. Ziel des Projektes ist es, über das EU-Programm DIGITAL EUROPE den modellhaften Themenbereich „Gesundheit“ des AIQTH von hessian.AI zu stärken und damit die Chance zu nutzen, diese Einrichtung in Hessen zu etablieren.


Memristors – eine zentrale Hardware für KI

Prof. Dr. Lambert Alff, TUDa, FB Material Sciences
Prof. Dr.-Ing. Andreas Koch, TUDa, Department of Embedded Systems and Applications (ESA)
Prof. Dr. Christian Hochburgen, TUDa, FB ETIT

Künstliche Intelligenz wird quasi ubiquitär in die verschiedensten Lebensbereiche Eingang finden. Dies bedeutet aber auch gleichzeitig, dass der Aspekt der Energieeffizienz des damit verbundenen Rechenaufwands immer wichtiger werden wird. Daher ist die Entwicklung der für die KI eingesetzten Computerarchitekturen ein wichtiges Forschungsfeld. Ein wesentliches neues Bauteil für KI-angepasste Rechnerarchitekturen ist der sogenannte Memristor. Es gibt mehrere materialwissenschaftliche Ansätze, mit denen (hochgradig energieeffiziente) Memristoren realisiert werden können, aus denen aber unterschiedliches Bauteilverhalten resultiert bzw. realistische Einsatzszenarien noch gar nicht erforscht wurden. Dieses Projekt zielt darauf ab, die für Memristoren notwendige Kette vom Material über das Bauteil hin zur Schaltung für bestimmte Anwendungen der KI zusammenzubringen und gemeinsame Forschungsprojekte im Sinne dieses interdisziplinären und holistischen Ansatzes zu befördern.


Mind the gap! Huddle between Materials and Computer Sciences

Prof. Dr. Leopoldo Molina-Luna, TUDa, FB Material Sciences
Prof. Dr. Kristian Kersting, TUDa, FB Computer Sciences

Viele Entwickler von KI-Algorithmen verfügen nicht über das nötige Hintergrundwissen, um mit dem neuesten Stand der Forschung in einem naturwissenschaftlichen Bereich wie z. B. den Materialwissenschaften Schritt zu halten. Auf der anderen Seite verlässt sich die Materialwissenschaft bei der Bestimmung der Parameter für die Entwicklung von KI-Algorithmen in der Regel auf „educated guess“ und zahlen wenig bis gar keine Gebühren. Es besteht eine Wissenslücke zwischen der Informatik und den Materialwissenschaften, und es bedarf eines verstärkten Austauschs auf grundlegender Ebene. Das Projekt schafft eine Plattform für die Umsetzung und Konsolidierung eines umfassenden regelmäßigen Austauschs zwischen allen interessierten Parteien. Es stärkt die Vorbereitungsaktivitäten für einen IRTG-Antrag im Bereich der on operando TEM für Memristoren und ML-basierte Datenanalyseroutinen.


Innovative UX für User-Centered AI Systeme

Prof. Dr. Bernhard Humm, h_da, FB Computer Sciences
Prof. Dr. Andrea Krajewski, h_da, FB Media

Zur human-centered AI gehört u.a. die angemessene Erklärung von Entscheidungen oder Empfehlungen, die das KI-System z.B. mittels Machine Learning ausspricht (Stichwort “Explainable AI”). User Experience (UX) befasst sich hingegen mit der Entwicklung von Produkten, insbesondere IT-Systemen, die ein bestmögliches Nutzungserlebnis bieten sollen. In diesem Vorhaben sollen für drei unterschiedliche prototypische KI-Systeme, die im Rahmen des BMBF-geförderten Projekts “Kompetenzzentrum für Arbeit und Künstliche Intelligenz (KompAKI)” entwickelt werden, innovative UX-Konzepte konzipiert, abgestimmt, implementiert und evaluiert werden. Eines der KI-Systeme beschäftigt sich mit der Bereitstellung von Machine Learning (ML) für breite Nutzerkreise mit und ohne Programmierkenntnisse. Zwei KI-Systeme sind für die betriebliche Nutzung in der verarbeitenden Industrie (Industrie 4.0) vorgesehen. Dieses Vorhaben ergänzt andere KI-Initiativen in idealer Weise und fördert die Vernetzung zwischen hessian.AI-Partnern und unterschiedlichen Disziplinen.


Geförderte Projekte in der ersten Runde der Aufforderungen (2021)


SpeedTram

Dr. Florian Stock, TUDa, Fachbereich Maschinenbau, Fachgebiet für Fahrzeugtechnik (FZD)
Prof. Dr. Andreas Koch, TUDa, Fachgebiet für Eingebettete Systeme und Anwendungen (ESA)

Im Fokus der Forschungen zu autonomen Fahren stehen bisher ganz klar Autos, nur wenige Projekte haben dagegen andere Verkehrsmittel im Blick. Um dem abzuhelfen, fördert Hessian.AI mit dem Projekt SpeedTram innovative interdisziplinäre Forschung, die sich mit dem autonomen/assistierten Fahren von Straßenbahnen befasst. Das Fachgebiet für Fahrzeugtechnik (FZD) und das Fachgebiet für Eingebettete Systeme und Anwendungen (ESA) der TU Darmstadt untersuchen darin die beschleunigte Ausführung der für die Automatisierung in und von Assistenzsystemen für Straßenbahnen erforderlichen Algorithmen des maschinellen Lernens. Dabei werden reale Daten bearbeitet, die auf einem Versuchsträger des lokalen Nahverkehrsunternehmens HEAG während des Betriebs aufgezeichnet wurden. Die Auswertung dieses wachsenden, mittlerweile mehr als 140 TB umfassenden Datensatzes, war mit den bestehenden Verfahren nicht mehr sinnvoll möglich. Durch die Arbeiten in SpeedTram konnten die beiden zeitaufwändigsten Schritte der Datenanalyse, nämlich die Objekterkennung auf Basis neuronaler Netze sowie die Verarbeitung der LIDAR-Sensordaten, jeweils um die Faktoren drei und 24 beschleunigt werden. SpeedTram leistet einen wichtigen Beitrag, das Innovationspotential der automatisierten Straßenbahnführung zu heben und für künftige Anwendungen nutzbar zu machen.


AI4Bats: Recognizing Bat Species and Bat Behavior in Audio Recordings of Bat Echolocation Calls

Dr. Nicolas Frieß, PU Marburg, FB Geographie, Umweltinformatik
Prof. Dr. Bernd Freisegen, PU Marburg, Dept. of Mathematics & Computer Science, Distributed Systems and Intelligent Computing
Prof. Dr. Thomas Nauss, PU Marburg, FB Geographie, Umweltinformatik

Biodiversität ist wichtig für verschiedene Ökosystemleistungen, die die Grundlage des menschlichen Lebens bilden. Der derzeitige Rückgang der biologischen Vielfalt erfordert eine Transformation von der manuellen periodischen Bewertung der biologischen Vielfalt hin zu einer automatisierten Echtzeit-Überwachung. Fledermäuse sind eine der am weitesten verbreiteten terrestrischen Säugetierarten und dienen als wichtige Bioindikatoren für den Zustand von Ökosystemen. Üblicherweise werden Fledermäuse durch Aufzeichnung und Analyse ihrer Echoortungsrufe überwacht. In diesem Projekt, AI4Bats, präsentieren wir einen neuartigen KI-basierten Ansatz zur Detektion von Fledermaus-Echoortungsrufen und zur Erkennung von Fledermausarten sowie zur Erkennung von Fledermausverhalten in Audiospektrogrammen. Er basiert auf einer neuronalen Transformer-Architektur und beruht auf Selbstaufmerksamkeitsmechanismen. Unsere Experimente zeigen, dass unser Ansatz aktuelle Ansätze zur Detektion von Fledermaus-Echoortungsrufen und zur Erkennung von Fledermausarten in mehreren öffentlich verfügbaren Datensätzen übertrifft. Während unser Modell zur Detektion von Fledermaus-Echoortungsrufen eine durchschnittliche Präzision von bis zu 90,2% erreicht, erzielt unser Modell zur Erkennung von Fledermausarten eine Genauigkeit von bis zu 88,7% für 14 in Deutschland vorkommende Fledermausarten, von denen einige selbst für menschliche Experten schwer zu unterscheiden sind. AI4Bats legt den Grundstein für Durchbrüche bei der automatisierten Überwachung von Fledermäusen im Bereich der Biodiversität, deren potenzieller Verlust wahrscheinlich zu den bedeutendsten Herausforderungen gehört, die die Menschheit in naher Zukunft bewältigen muss.


AI@School

Dr. Joachim Bille, TH Mittelhessen, Leiter Abteilung FTN
Prof. Dr. Michael Guckert, TH Mittelhessen, Fachbereich Mathematik, Naturwissenschaften und Datenverarbeitung, FG Wirtschaftsinformatik – Künstliche Intelligenz
Prof. Holger Rohn, TH Mittelhessen, Fachbereich Wirtschaftsingenieurwesen, FG Life Cycle Management & Qualitätsmanagement, Makerspace Friedberg

Ziel des Projekts AI@School war die Entwicklung eines Demonstrators zur anschaulichen Vermittlung von Grundkenntnissen der Künstlichen Intelligenz, der Schülerinnen und Schülern einen möglichst frühen und niedrigschwelligen Zugang zu KI-Themen ermöglichen sollte. Der Demonstrator soll zum einen geeignete Beispiele und Exponate zur anschaulichen Wissensvermittlung beinhalten, zum anderen soll ein interaktiver Einführungskurs zur Wissensvermittlung unter Anwendung der Exponate und Beispiele erarbeitet werden. Aufbauend auf diesen Angeboten soll ebenso eine prototypische Lehreinheit auf Leistungskursniveau entwickelt werden. Die Projektergebnisse sollen dauerhaft Implementierung bei hessian.AI implementiert werden; zudem ist mittel- bis langfristig ein hessenweiter Transfer des Konzepts an passende Institutionen in den anderen Landesteilen geplant.


Robot Learning of Long-Horizon Manipulation bridging Object-centric Representations to Knowledge Graphs

Prof. Dr. Georgia Chalvatzaki, TUDa, FB Informatik, iROSA: Robot Learning of Mobile Manipulation for Intelligent Assistance
Prof. Dr. Iryna Gurevych, TUDa, FB Informatik, Ubiquitous Knowledge Processing Lab

Ziel dieses Projekts war es, die Verbindungen zwischen hochrangigen Befehlen in natürlicher Sprache und Robotermanipulation zu untersuchen. Menschen sind in der Lage, Befehle in natürlicher Sprache effektiv zu abstrahieren und zu zerlegen, z. B. „Mach mir einen Kaffee“, aber eine solche Aktion ist für einen Roboter nicht detailliert genug, um sie auszuführen. Das Problem der Aufgabenausführung in der Robotik wird in der Regel als Aufgaben- und Bewegungsplanungsproblem angegangen, bei dem ein Aufgabenplaner das abstrakte Ziel in eine Reihe von logischen Aktionen zerlegt, die von einem Bewegungsgenerator in tatsächliche Aktionen in der Welt umgesetzt werden müssen. Die Verbindung zwischen abstrakter logischer Handlung und realer Beschreibung (z.B. hinsichtlich der genauen Position von Objekten in der Szene) macht die Aufgaben- und Bewegungsplanung zu einem sehr anspruchsvollen Problem. In diesem Projekt haben wir uns diesem Problem aus drei verschiedenen Richtungen genähert, indem wir Teilprobleme des Themas im Hinblick auf unser letztendliches Ziel, das Erlernen von Manipulationsplänen mit langem Zeithorizont unter Verwendung des gesunden Menschenverstands und von Szenegraphen, untersucht haben:

  1. Die Assoziation der Objektszene mit Robotermanipulationsplänen unter Verwendung von graphischen neuronalen Netzen (GNNs) und RL,
  2. Verwendung von Sprachanweisungen und Bildverarbeitung in Transformatorennetzen zur Ausgabe von Teilzielen für einen Low-Level-Planer, und
  3. Übersetzen menschlicher Anweisungen in Roboterpläne.

Projektergebnisse aus 2. und 3. sollen in naher Zukunft auf einer großen Konferenz zum maschinellen Lernen veröffentlicht werden. Arbeiten aus iii werden im Rahmen einer aktuellen Zusammenarbeit von iROSA und UKP fortgeführt.