Multimodalität bezeichnet die Fähigkeit eines KI-Modells, mehrere Arten von Daten - etwa Text, Bilder, Audio und Video - sowohl zu verstehen als auch zu erzeugen.
Ein multimodales Modell kann zum Beispiel ein hochgeladenes Foto analysieren und dazu eine Textbeschreibung liefern, aus einer gesprochenen Frage eine geschriebene Antwort erzeugen oder umgekehrt aus Text ein Bild generieren.
Technisch werden dabei unterschiedliche Datentypen in einen gemeinsamen internen Repräsentationsraum (ähnlich einem Embedding) übersetzt, sodass das Modell Zusammenhänge zwischen zum Beispiel einem Bildinhalt und einer dazu passenden Textbeschreibung erlernen kann.
Multimodale Modelle eröffnen neue Anwendungsfälle wie visuelle Fehleranalyse in der Softwareentwicklung, automatische Bildbeschreibung für Barrierefreiheit oder die gemeinsame Auswertung von Diagrammen, Text und Tabellen in einem einzigen Dokument.
