Die Kommunikation zwischen Fahrzeug und Fahrer abhängig vom Automatisierungsgrad zu optimieren, ist Ziel eines Fraunhofer-Forschungsprojekts gemeinsam mit weiteren Unternehmen. Die Forschenden verbinden dafür Sensorik zur Innenraumbeobachtung mit Sprachmodellen zu sogenannten Vision-Language-Modellen. Sie sollen Komfort und Sicherheit künftiger Autos erhöhen.
»Achtung, wenn du jetzt weiterliest, könnte dir bei der kurvigen Strecke schlecht werden. In fünf Minuten fahren wir auf der Autobahn, dann ist es besser.« Oder: »Gleich wird es regnen und wir müssen das automatische Fahren beenden. Bitte bereite Dich darauf vor, selbst ein Stück zu fahren. Es tut mir leid, dass Du Deinen Laptop jetzt sicher verstauen musst. Sicherheit geht vor.« So oder so ähnlich könnten Autos in ein paar Jahren mit ihren Fahrerinnen oder Fahrern kommunizieren. Mit zunehmendem Automatisierungsgrad der Fahrzeuge muss auch die Interaktion mit den Menschen neu gedacht werden. Diese Aufgabe hat sich ein Forschungsteam aus den Fraunhofer-Instituten für Optronik, Systemtechnik und Bildauswertung IOSB und für Arbeitswirtschaft und Organisation IAO zusammen mit zehn Partnern, darunter Continental, Ford und Audi, sowie eine Reihe von Mittelständlern und Universitäten im Projekt KARLI gestellt. KARLI steht für Künstliche Intelligenz (KI) für Adaptive, Responsive und Levelkonforme Interaktion im Fahrzeug der Zukunft.
Heute unterscheidet man verschiedene Ebenen der Automatisierung: nicht automatisiert (0), assistiert (1), teilautomatisiert (2), hochautomatisiert (3), vollautomatisiert (4) und autonom (5). »Im Projekt KARLI entwickeln wir KI-Funktionen für die Automationslevel zwei bis vier. Dafür erfassen wir Zustände von Fahrerinnen und Fahrern und gestalten unterschiedliche Mensch-Maschine-Interaktionen, die für die jeweiligen Level typisch sind«, erklärt Projektkoordinator Frederik Diederichs vom Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB in Karlsruhe.
Je nach Automatisierungslevel müssen sich die Fahrerinnen und Fahrer auf die Straße konzentrieren oder können sich mit anderen Tätigkeiten befassen. Sie haben zehn Sekunden Zeit, das Lenkrad wieder zu übernehmen, oder müssen zum Teil gar nicht mehr eingreifen. Diese unterschiedlichen Anforderungen an die Nutzenden und die Möglichkeit, je nach Straßensituation zwischen den verschiedenen Levels zu wechseln, machen es zur komplexen Aufgabe, passende Interaktionen für jede Ebene zu definieren und zu gestalten. Zudem muss durch Interaktion und Design sichergestellt werden, dass den Fahrenden stets das aktuelle Automationslevel bewusst ist, damit sie ihre Rolle darin erfüllen können.
Die im Projekt KARLI entwickelten Applikationen haben drei Schwerpunkte: Zum Ersten sollen Warnungen und Hinweise levelkonformes Verhalten befördern und zum Beispiel verhindern, dass die Fahrerin oder der Fahrer in einem Moment abgelenkt ist, der Aufmerksamkeit auf die Straße erfordert. Die Nutzeransprache ist dabei dem jeweiligen Level angepasst – visuell, akustisch, haptisch oder eine Kombination aus diesen Möglichkeiten. Die Interaktion wird dabei von KI-Agenten gesteuert, deren Leistungsfähigkeit und Zuverlässigkeit die Partner evaluieren. Zum Zweiten soll das Risiko von Reiseübelkeit – eines der größten Probleme beim passiven Fahren – vorhergesehen und minimiert werden. Zwischen 20 und 50 Prozent der Menschen leiden an dieser sogenannten Motion Sickness. »Durch den Abgleich von Aktivitäten der Insassen mit erwartbaren Beschleunigungen auf kurvenreichen Strecken, können wir eine KI befähigen, den richtigen Insassen zum richtigen Zeitpunkt Tipps zur Vermeidung von Motion Sickness, mit Bezug auf deren aktuelle Aktivitäten zu geben. Wir nutzen dafür sogenannte generierte User Interfaces, kurz ,GenUIn‘, zur individualisierten Interaktion zwischen Mensch und KI«, verdeutlicht Diederichs.
Diese KI-Interaktion ist der dritte Schwerpunkt im Projekt KARLI. GenUIn erstellt individualisierte Ansprachen und gibt Hinweise, wie Übelkeit vermindert werden kann, sollte sie dennoch auftreten. Diese Tipps können sich auf die aktuelle Tätigkeit beziehen, die durch Sensoren erfasst wird, aber auch berücksichtigen, welche Möglichkeiten im aktuellen Kontext überhaupt zur Verfügung stehen. Die Nutzerinnen und Nutzer erhalten durch die Äußerung von Wünschen zudem die Möglichkeit, die gesamte Interaktion im Fahrzeug nach und nach zu personalisieren und an ihre Bedürfnisse anzupassen. Das Automationslevel wird bei der Interaktion immer berücksichtigt: So können die Hinweise mal kurz und rein sprachlich sein, wenn der Fahrende sich auf die Straße konzentriert, oder ausführlich und über visuelle Kanäle, wenn das Fahrzeug gerade die Fahraufgabe ausführt.
Um die Aktivitäten im Auto zu erfassen, kommen verschiedene KI-gestützte Sensoren zum Einsatz, zentral dabei sind optische Sensoren aus Innenraumkameras. Diese werden durch die aktuelle Gesetzgebung zum autonomen Fahren ohnehin verpflichtend, um die Fahrtüchtigkeit der Fahrenden sicherzustellen. Die visuellen Daten der Kameras kombinieren die Forschenden dann mit großen Sprachmodellen zu sogenannten Vision-Language-Models (VLM). Diese sind die Grundlage dafür, dass moderne Fahrerassistenzsysteme in (teil-)autonomen Fahrzeugen Situationen im Innenraum semantisch erfassen und darauf reagieren können. Diederichs vergleicht die Interaktion im Fahrzeug der Zukunft mit einem Butler, der sich im Hintergrund hält, aber den Kontext kennt und den Insassen bestmögliche Unterstützung bietet.
»Entscheidende Faktoren für die Akzeptanz solcher Systeme sind Vertrauen in den Dienstanbieter, die Datensicherheit und ein direkter Nutzen für die Fahrenden«, sagt Frederik Diederichs. Deshalb sind bestmögliche Anonymisierung und Datensicherheit sowie eine transparente und erklärbare Erfassung der Daten wesentlich. »Nicht alles, was im Sichtfeld einer Kamera ist, wird ausgewertet. Es muss transparent sein, welche Informationen ein Sensor erfasst und wofür sie genutzt werden. Wie das gewährleistet werden kann, erforschen wir in unserer Arbeitsgruppe Xplainable AI am Fraunhofer IOSB.« In einem weiteren Projekt (Anymos) arbeiten die Fraunhofer-Forschenden daran, Kameradaten zu anonymisieren, datensparsam zu verarbeiten und effektiv zu schützen.
Ein weiteres Alleinstellungsmerkmal des vom Bundesministerium für Wirtschaft und Klimaschutz geförderten Forschungsprojekts ist die Dateneffizienz. »Unser Small2BigData-Ansatz braucht nur wenige, qualitativ hochwertige KI-Trainingsdaten, die empirisch erhoben und synthetisch erzeugt werden. Sie bilden die Basis dafür, dass die Automobilhersteller wissen, welche Daten sie später im Serienbetrieb erfassen müssen, um das System nutzen zu können. So ist der Datenaufwand überschaubar und die Projektergebnisse werden skalierbar«, erklärt Diederichs.
Erst kürzlich nahmen Diederichs und sein Team ein mobiles Forschungslabor auf Basis eines Mercedes EQS in Betrieb, um die Nutzerbedürfnisse beim automatisierten Fahren im Level 3 auf der Straße noch besser zu erforschen. Dort werden die Erkenntnisse aus dem Projekt KARLI in der Praxis getestet und evaluiert. Somit könnten erste Funktionen bereits 2026 in Serienfahrzeugen zur Verfügung stehen. »Die deutschen Hersteller stehen beim automatisierten Fahren im harten Wettbewerb mit der internationalen Konkurrenz, in dem sie nur bestehen werden, wenn sie die Nutzererfahrung im Auto wettbewerbsfähig machen, mit KI auf die Nutzeranforderungen eingehen und die Interaktion individualisieren«, ist sich der Experte sicher. »Die Ergebnisse aus unserem Projekt liefern dazu einen wichtigen Beitrag.«
Fraunhofer-Gesellschaft