Forschung

Exzellente und breite
KI-Expertise.

Maschinelles Lernen

(Probabilistisches) Deep Learning

Statistische relationale KI

Computer Vision

Verarbeitung natürlicher Sprache

Robotik

Modelle höherer Erkenntnis

Psychologie der Informationsverarbeitung

Datenbanksysteme

Softwareentwicklung

Verteilte Systeme

Hardware

Bioinformatik

Semantisches Web

Nachhaltigkeit

Medizin

Finanzen


620+ Publikationen

Veröffentlichungen zu künstlicher Intelligenz von unserem Team.


170.000+ Zitationen

Eine wachsende Zahl von Zitationen in anderen Publikationen.


KI-Konferenzen

Programmvorsitzender unter anderem bei ACL, CVPR, UAI, CoRL, ECML PKDD.


Fellows

EurAI, IEEE, ELLIS und andere.


Projekte

hessian.AI initiiert und ist Teil von einigen Projekten, um Spitzenforschung voranzubringen, Interdisziplinarität zu fördern und den Transfer von KI-Forschung in die breite zu transferieren.

HMWK Clustervorhaben

LOEWE Projekte

Eine Auswahl an Projekten, in die hessian.AI involviert ist:


DFG


BMBF


Bund und Land

  • ATHENE AVSV Automatic Vulnerability Scanning and Verification
  • ATHENE SenPai Security and Privacy in Artificial Intelligence

EU

Graduiertenschule

Mit der sich im Aufbau befindenden hessian.AI-Graduiertenschule verbinden wir das Ziel, den wissenschaftlichen Nachwuchs auf dem Gebiet der Künstlichen Intelligenz bestmöglich zu fördern, optimale Promotionsbedingungen zu gewährleisten und die internationale Strahl- und Anziehungskraft von hessian.AI kontinuierlich stärken.

Dazu hat hessian.AI ein eigenes Betreuungskonzept sowie ein Qualifikationsprogramm aufgelegt. Folgende Aspekte sehen wir in hessian.AI als zentral für die Promotionsphase an:

Connectom Vernetzungsfonds

Der Connectom Vernetzungsfonds bietet Seed-Funding für kollaborative Forschung von hessian.AI- Mitgliedern sowie weiteren Kolleg*innen an sowie zwischen den beteiligten Hochschulen. In einem kompetitiven Verfahren werden zeitlich begrenzte Vorhaben im gesamten Spektrum von Forschung, Lehre, Aufklärung oder Anwendung mit Mitteln i.H.v. von max. 40.000 EUR je Vorhaben gefördert. Der Connectom-Vernetzungsfonds wird einmal jährlich ausgeschrieben. Die Bewertung und Auswahl der zu fördernden Projektskizzen erfolgt durch eine Auswahlkommission, die sich aus Vertreterinnen und Vertretern aller an hessian.AI beteiligten Hochschulen zusammensetzt. Die eingereichten Skizzen werden auf Basis folgender Kriterien bewertet:

Antragsberechtigt sind Mitarbeitende der an hessian.AI beteiligten Hochschulen, die mindestens eine abgeschlossene Promotion nachweisen können. Teil des antragstellenden Konsortiums muss ein Gründungsmitglied von hessian.AI sein. Externe Forscherinnen und Forscher können als Kooperationspartner_innen am Vorhaben beteiligt sein, jedoch keine Fördermittel aus dem Connectom-Vernetzungsfonds erhalten.

Geförderte Projekte der dritten Ausschreibungsrunde (2022):


Ermöglichung von multimodaler und mehrsprachiger Argumentationsanalyse in Gerichtsverhandlungen

Dr. Ivan Habernal, TUDa, FB Computer Sciences
Prof. Dr. Christoph Burchard, Goethe Universität Frankfurt, Faculty of Law

Dieses bewusst interdisziplinär angelegte Projekt dient der Forschung zum Verständnis der juristischen Argumentation in den Anhörungen des Europäischen Gerichtshofs für Menschenrechte. Die Anhörungen des EGMR sind nur als Videoaufzeichnungen mit gemischten Sprachen, einschließlich Muttersprachlern und Nicht-Muttersprachlern, verfügbar. Ziel ist es, einen Basisdatensatz zu erstellen, der 1) NLP-Forschern als Grundlage für den Aufbau und die Evaluierung von NLP-Rechtsmodellen dient und 2) Rechtswissenschaftlern die Beantwortung empirischer Rechtsfragen im Zusammenhang mit den vor dem Gerichtshof vorgetragenen Argumenten ermöglicht.


Zuverlässige Anonymisierungsmethoden für Sprachverstehensmodelle zur Unterstützung der Kommunikation mit Fluglotsen

Charles Welch, Ph.D., PU Marburg, FB Computer Sciences
Dr. Ivan Habernal, TUDa, FB Computer Sciences

Ziel des Projekts ist es, hochsensible betriebliche Sprachdaten von Fluglotsen für Forschungs- und Entwicklungszwecke zu erschließen, um die Leistung und Sicherheit der DFS-Dienste durch effektive spracherkennungsbasierte Lotsenassistenzsysteme zu verbessern. Das geplante Folgeprojekt in den Jahren 2023-2025 zielt darauf ab, robuste domänenspezifische Spracherkennungs- und semantische Annotationsmodelle zu entwickeln, um die Kommunikationsprotokollierungsaufgaben der Fluglotsen zu automatisieren.


KIDeR – KI basierte Detention von Rissbildung in Bahnschwellen

Prof. Dr. Michael Guckert, TH Mittelhessen, Fachbereich Mathematik, Naturwissenschaften und Datenverarbeitung, FG Wirtschaftsinformatik – Künstliche Intelligenz
Prof. Dr. Gerd Manthei, TH Mittelhessen, Fachbereich Maschinenbau und Energietechnik

Das Projekt soll mit der SE-Prüfung (Schallemissionsmessungen) Rissbildung in Spannbetonschwellen im Betrieb untersucht werden, um einen besseren Einblick in das Schadverhalten zu erhalten. Die Analyse der Messrechen und deren Klassifikation ist ein typischer Anwendungsfall für Ansätze der Künstlichen Intelligenz (etwa für Deep Learning (DL) Modelle). Ziel von KIDeR ist die Entwicklung eines Prototypen eines leistungsfähigen, zerstörungsfreien Prüfverfahrens zur Detektion von Rissbildung in Bahnschwellen im Betrieb. Eine besondere Herausforderung ist hierbei die Differenzierung von echten Schallemissionen und Umgebungsgeräuschen.


AI4BirdsDemo: Ein Demonstrator für die robuste Erkennung von Vogelarten in beliebigen Geräuschumgebungen

Dr. Markus Mühling PU Marburg, FB Mathematics & Computer Science
Prof. Dr. Nina Farwig, PU Marburg, FB Biology
Prof. Dr. Bernd Freisleben, PU Marburg, Dept. of Mathematics & Computer Science, Distributed Systems and Intelligent Computing

Das Projekt stützt sich auf die Vorarbeiten zur Erweiterung des Projekts AI4Birds um eine Softwareanwendung, die die öffentliche Sichtbarkeit der Arbeit erhöht und die Qualität des Vogelartenerkennungsmodells demonstriert. Das Team wird ein Modell zur Erkennung von Vogelarten in der realen Welt entwickeln, das die zuvor erwähnten Herausforderungen, wie z. B. Daten außerhalb des Verbreitungsgebiets, angeht, um die Robustheit ihres Ansatzes zur Erkennung von Vogelarten zu verbessern.


Geförderte Projekte der zweiten Ausschreibungsrunde (2022):


Accelerating Cardinality Estimation (ACE)

Prof. Dr.-Ing. Andreas Koch, TUDa, Department of Embedded Systems and Applications (ESA)
Prof. Dr. Carsten Binnig, TUDa, Data Management

Sum-Product-Networks (SPNs) gehören zur Klasse der graphischen probabilistischen Modelle und erlauben die kompakte Repräsentation von multivariaten Wahrscheinlichkeitsverteilungen. Während das Fachgebiet ESA vornehmlich die Beschleunigungsmöglichkeiten von SPNs untersucht hat, hat das FG DM sich damit befasst, für welche Anwendungsfälle im Bereich der Datenbanken SPNs genutzt werden können. Hierzu zählt z.B. die Cardinality Estimation. Sie kann verwendet werden, um die Ergebnisgrößen von Datenbank-Anfragen vorherzusagen und damit die Anfragenbearbeitung von Datenbank Management Systems (DBMS) zu optimieren. Das Gesamtziel des Projekts ist die generelle Beschleunigung der Cardinality Estimation mittels RSPNs (Relationale SPNs), die Automatisierung des Entwicklungs- und Trainingsprozesses der RSPNs sowie darüber hinaus die Untersuchung der potentiellen Nutzbarkeit im Kontext von großen Datenbanken. Die Erweiterung des SPNC, sowie die Bereitstellung entsprechender Trainingsprozesse versprechen in der Kombination hochinteressante, praktisch relevante Forschungsergebnisse, die auch in die anderen Projekten in den beiden beteiligten FGs eingehen können.


AI4Birds: Bird Species Recognition in Complex Soundscape Recordings

Dr. Markus Mühling PU Marburg, FB Mathematics & Computer Science
Prof. Dr. Nina Farbig, PU Marburg, FB Biology
Prof. Dr. Bernd Freisleben, PU Marburg, Dept. of Mathematics & Computer Science, Distributed Systems and Intelligent Computing

In diesem Projekt konzentrieren wir uns auf die automatische Erkennung von Vogelarten in Audioaufnahmen. Um die derzeitigen Überwachungsprogramme für die biologische Vielfalt zu verbessern, wird AI4Birds Tonaufnahmen in einem Waldökosystem verwenden, um neuartige Transformatormodelle zu entwickeln, die auf Selbstbeobachtung basieren, um Vogelarten in Klanglandschaften zu erkennen. Daher steht die Nachhaltigkeit im Hinblick auf die biologische Vielfalt im Mittelpunkt des Projekts. Die Nachhaltigkeit der Fortführung von AI4Birds durch die Einwerbung zusätzlicher finanzieller Mittel ist sehr wahrscheinlich; es ist geplant, AI4Birds zu nutzen, um die Finanzierungsmöglichkeiten im Rahmen der Bundesprogramme zur Förderung der biologischen Vielfalt auszuloten. Darüber hinaus planen wir, unsere Ergebnisse in Microsofts „AI for Earth“-Initiative einzubringen.


AIQTHmed | AI Quality and Testing Hub in Healthcare

Prof. Dr. Martin Hirsch, Artificial Intelligence in Medicine, UMR and Director of the Institute for Artificial Intelligence at UKGM Marburg
Prof. Dr. Thomas Nauss, Department of Mathematics, Natural Sciences and Data Processing, FG Business Informatics – Artificial Intelligence, PU Marburg

Im Mai 2021 vereinbarten die Hessische Ministerin für Digitale Strategie und Entwicklung und der VDE die Einrichtung eines ersten bundesweiten „AI Quality & Testing Hub“ (AIQTH1). Im Umfeld von hessian.AI und dem Zentrum für Verantwortungsvolle Digitalisierung (ZEVEDI) soll damit die Qualität und Vertrauenswürdigkeit von KI-Systemen durch Standardisierung und Zertifizierung in den modellhaften Themenfeldern „Mobilität“, „Finanzen“ und „Gesundheit“ gefördert und für die Bevölkerung überprüfbar und glaubwürdig gemacht werden. Ziel des Projektes ist es, über das EU-Programm DIGITAL EUROPE den modellhaften Themenbereich „Gesundheit“ des AIQTH von hessian.AI zu stärken und damit die Chance zu nutzen, diese Einrichtung in Hessen zu etablieren.


Memristors – eine zentrale Hardware für KI

Prof. Dr. Lambert Alff, TUDa, FB Material Sciences
Prof. Dr.-Ing. Andreas Koch, TUDa, Department of Embedded Systems and Applications (ESA)
Prof. Dr. Christian Hochburgen, TUDa, FB ETIT

Künstliche Intelligenz wird quasi ubiquitär in die verschiedensten Lebensbereiche Eingang finden. Dies bedeutet aber auch gleichzeitig, dass der Aspekt der Energieeffizienz des damit verbundenen Rechenaufwands immer wichtiger werden wird. Daher ist die Entwicklung der für die KI eingesetzten Computerarchitekturen ein wichtiges Forschungsfeld. Ein wesentliches neues Bauteil für KI-angepasste Rechnerarchitekturen ist der sogenannte Memristor. Es gibt mehrere materialwissenschaftliche Ansätze, mit denen (hochgradig energieeffiziente) Memristoren realisiert werden können, aus denen aber unterschiedliches Bauteilverhalten resultiert bzw. realistische Einsatzszenarien noch gar nicht erforscht wurden. Dieses Projekt zielt darauf ab, die für Memristoren notwendige Kette vom Material über das Bauteil hin zur Schaltung für bestimmte Anwendungen der KI zusammenzubringen und gemeinsame Forschungsprojekte im Sinne dieses interdisziplinären und holistischen Ansatzes zu befördern.


Mind the gap! Huddle between Materials and Computer Sciences

Prof. Dr. Leopoldo Molina-Luna, TUDa, FB Material Sciences
Prof. Dr. Kristian Kersting, TUDa, FB Computer Sciences

Viele Entwickler von KI-Algorithmen verfügen nicht über das nötige Hintergrundwissen, um mit dem neuesten Stand der Forschung in einem naturwissenschaftlichen Bereich wie z. B. den Materialwissenschaften Schritt zu halten. Auf der anderen Seite verlässt sich die Materialwissenschaft bei der Bestimmung der Parameter für die Entwicklung von KI-Algorithmen in der Regel auf „educated guess“ und zahlen wenig bis gar keine Gebühren. Es besteht eine Wissenslücke zwischen der Informatik und den Materialwissenschaften, und es bedarf eines verstärkten Austauschs auf grundlegender Ebene. Das Projekt schafft eine Plattform für die Umsetzung und Konsolidierung eines umfassenden regelmäßigen Austauschs zwischen allen interessierten Parteien. Es stärkt die Vorbereitungsaktivitäten für einen IRTG-Antrag im Bereich der on operando TEM für Memristoren und ML-basierte Datenanalyseroutinen.


Innovative UX für User-Centered AI Systeme

Prof. Dr. Bernhard Humm, h_da, FB Computer Sciences
Prof. Dr. Andrea Krajewski, h_da, FB Media

Zur human-centered AI gehört u.a. die angemessene Erklärung von Entscheidungen oder Empfehlungen, die das KI-System z.B. mittels Machine Learning ausspricht (Stichwort “Explainable AI”). User Experience (UX) befasst sich hingegen mit der Entwicklung von Produkten, insbesondere IT-Systemen, die ein bestmögliches Nutzungserlebnis bieten sollen. In diesem Vorhaben sollen für drei unterschiedliche prototypische KI-Systeme, die im Rahmen des BMBF-geförderten Projekts “Kompetenzzentrum für Arbeit und Künstliche Intelligenz (KompAKI)” entwickelt werden, innovative UX-Konzepte konzipiert, abgestimmt, implementiert und evaluiert werden. Eines der KI-Systeme beschäftigt sich mit der Bereitstellung von Machine Learning (ML) für breite Nutzerkreise mit und ohne Programmierkenntnisse. Zwei KI-Systeme sind für die betriebliche Nutzung in der verarbeitenden Industrie (Industrie 4.0) vorgesehen. Dieses Vorhaben ergänzt andere KI-Initiativen in idealer Weise und fördert die Vernetzung zwischen hessian.AI-Partnern und unterschiedlichen Disziplinen.


Geförderte Projekte der ersten Ausschreibungsrunde (2021):


SpeedTram

Dr. Florian Stock, TUDa, Fachbereich Maschinenbau, Fachgebiet für Fahrzeugtechnik (FZD)
Prof. Dr. Andreas Koch, TUDa, Fachgebiet für Eingebettete Systeme und Anwendungen (ESA)

Im Fokus der Forschungen zu autonomen Fahren stehen bisher ganz klar Autos, nur wenige Projekte haben dagegen andere Verkehrsmittel im Blick. Um dem abzuhelfen, fördert Hessian.AI mit dem Projekt SpeedTram innovative interdisziplinäre Forschung, die sich mit dem autonomen/assistierten Fahren von Straßenbahnen befasst. Das Fachgebiet für Fahrzeugtechnik (FZD) und das Fachgebiet für Eingebettete Systeme und Anwendungen (ESA) der TU Darmstadt untersuchen darin die beschleunigte Ausführung der für die Automatisierung in und von Assistenzsystemen für Straßenbahnen erforderlichen Algorithmen des maschinellen Lernens. Dabei werden reale Daten bearbeitet, die auf einem Versuchsträger des lokalen Nahverkehrsunternehmens HEAG während des Betriebs aufgezeichnet wurden. Die Auswertung dieses wachsenden, mittlerweile mehr als 140 TB umfassenden Datensatzes, war mit den bestehenden Verfahren nicht mehr sinnvoll möglich. Durch die Arbeiten in SpeedTram konnten die beiden zeitaufwändigsten Schritte der Datenanalyse, nämlich die Objekterkennung auf Basis neuronaler Netze sowie die Verarbeitung der LIDAR-Sensordaten, jeweils um die Faktoren drei und 24 beschleunigt werden. SpeedTram leistet einen wichtigen Beitrag, das Innovationspotential der automatisierten Straßenbahnführung zu heben und für künftige Anwendungen nutzbar zu machen.


AI4Bats: Recognizing Bat Species and Bat Behavior in Audio Recordings of Bat Echolocation Calls

Dr. Nicolas Frieß, PU Marburg, FB Geographie, Umweltinformatik
Prof. Dr. Bernd Freisegen, PU Marburg, Dept. of Mathematics & Computer Science, Distributed Systems and Intelligent Computing
Prof. Dr. Thomas Nauss, PU Marburg, FB Geographie, Umweltinformatik

Biodiversität ist wichtig für verschiedene Ökosystemleistungen, die die Grundlage des menschlichen Lebens bilden. Der derzeitige Rückgang der biologischen Vielfalt erfordert eine Transformation von der manuellen periodischen Bewertung der biologischen Vielfalt hin zu einer automatisierten Echtzeit-Überwachung. Fledermäuse sind eine der am weitesten verbreiteten terrestrischen Säugetierarten und dienen als wichtige Bioindikatoren für den Zustand von Ökosystemen. Üblicherweise werden Fledermäuse durch Aufzeichnung und Analyse ihrer Echoortungsrufe überwacht. In diesem Projekt, AI4Bats, präsentieren wir einen neuartigen KI-basierten Ansatz zur Detektion von Fledermaus-Echoortungsrufen und zur Erkennung von Fledermausarten sowie zur Erkennung von Fledermausverhalten in Audiospektrogrammen. Er basiert auf einer neuronalen Transformer-Architektur und beruht auf Selbstaufmerksamkeitsmechanismen. Unsere Experimente zeigen, dass unser Ansatz aktuelle Ansätze zur Detektion von Fledermaus-Echoortungsrufen und zur Erkennung von Fledermausarten in mehreren öffentlich verfügbaren Datensätzen übertrifft. Während unser Modell zur Detektion von Fledermaus-Echoortungsrufen eine durchschnittliche Präzision von bis zu 90,2% erreicht, erzielt unser Modell zur Erkennung von Fledermausarten eine Genauigkeit von bis zu 88,7% für 14 in Deutschland vorkommende Fledermausarten, von denen einige selbst für menschliche Experten schwer zu unterscheiden sind. AI4Bats legt den Grundstein für Durchbrüche bei der automatisierten Überwachung von Fledermäusen im Bereich der Biodiversität, deren potenzieller Verlust wahrscheinlich zu den bedeutendsten Herausforderungen gehört, die die Menschheit in naher Zukunft bewältigen muss.


AI@School

Dr. Joachim Bille, TH Mittelhessen, Leiter Abteilung FTN
Prof. Dr. Michael Guckert, TH Mittelhessen, Fachbereich Mathematik, Naturwissenschaften und Datenverarbeitung, FG Wirtschaftsinformatik – Künstliche Intelligenz
Prof. Holger Rohn, TH Mittelhessen, Fachbereich Wirtschaftsingenieurwesen, FG Life Cycle Management & Qualitätsmanagement, Makerspace Friedberg

Ziel des Projekts AI@School war die Entwicklung eines Demonstrators zur anschaulichen Vermittlung von Grundkenntnissen der Künstlichen Intelligenz, der Schülerinnen und Schülern einen möglichst frühen und niedrigschwelligen Zugang zu KI-Themen ermöglichen sollte. Der Demonstrator soll zum einen geeignete Beispiele und Exponate zur anschaulichen Wissensvermittlung beinhalten, zum anderen soll ein interaktiver Einführungskurs zur Wissensvermittlung unter Anwendung der Exponate und Beispiele erarbeitet werden. Aufbauend auf diesen Angeboten soll ebenso eine prototypische Lehreinheit auf Leistungskursniveau entwickelt werden. Die Projektergebnisse sollen dauerhaft Implementierung bei hessian.AI implementiert werden; zudem ist mittel- bis langfristig ein hessenweiter Transfer des Konzepts an passende Institutionen in den anderen Landesteilen geplant.


Robot Learning of Long-Horizon Manipulation bridging Object-centric Representations to Knowledge Graphs

Prof. Dr. Georgia Chalvatzaki, TUDa, FB Informatik, iROSA: Robot Learning of Mobile Manipulation for Intelligent Assistance
Prof. Dr. Iryna Gurevych, TUDa, FB Informatik, Ubiquitous Knowledge Processing Lab

Ziel dieses Projekts war es, die Verbindungen zwischen hochrangigen Befehlen in natürlicher Sprache und Robotermanipulation zu untersuchen. Menschen sind in der Lage, Befehle in natürlicher Sprache effektiv zu abstrahieren und zu zerlegen, z. B. „Mach mir einen Kaffee“, aber eine solche Aktion ist für einen Roboter nicht detailliert genug, um sie auszuführen. Das Problem der Aufgabenausführung in der Robotik wird in der Regel als Aufgaben- und Bewegungsplanungsproblem angegangen, bei dem ein Aufgabenplaner das abstrakte Ziel in eine Reihe von logischen Aktionen zerlegt, die von einem Bewegungsgenerator in tatsächliche Aktionen in der Welt umgesetzt werden müssen. Die Verbindung zwischen abstrakter logischer Handlung und realer Beschreibung (z.B. hinsichtlich der genauen Position von Objekten in der Szene) macht die Aufgaben- und Bewegungsplanung zu einem sehr anspruchsvollen Problem. In diesem Projekt haben wir uns diesem Problem aus drei verschiedenen Richtungen genähert, indem wir Teilprobleme des Themas im Hinblick auf unser letztendliches Ziel, das Erlernen von Manipulationsplänen mit langem Zeithorizont unter Verwendung des gesunden Menschenverstands und von Szenegraphen, untersucht haben:

  1. Die Assoziation der Objektszene mit Robotermanipulationsplänen unter Verwendung von graphischen neuronalen Netzen (GNNs) und RL,
  2. Verwendung von Sprachanweisungen und Bildverarbeitung in Transformatorennetzen zur Ausgabe von Teilzielen für einen Low-Level-Planer, und
  3. Übersetzen menschlicher Anweisungen in Roboterpläne.

Projektergebnisse aus 2. und 3. sollen in naher Zukunft auf einer großen Konferenz zum maschinellen Lernen veröffentlicht werden. Arbeiten aus iii werden im Rahmen einer aktuellen Zusammenarbeit von iROSA und UKP fortgeführt.