Wer heute ein neues Auto kauft, muss auf Features wie ferngesteuertes Einparken, automatisches Spurhalten oder Müdigkeitserkennung nicht verzichten. Autonome Fahrzeuge werden zukünftig auch über einen Hörsinn verfügen. Forscherinnen und Forscher am Fraunhofer-Institut für Digitale Medientechnologie IDMT in Oldenburg haben erste Prototypen für das Erkennen von Außengeräuschen wie Sirenen entwickelt.
Moderne Fahrzeuge verfügen über zahlreiche Fahrerassistenzsysteme, die den Autofahrer entlasten, ihm etwa beim Einparken helfen oder den toten Winkel überwachen. Kamera, Lidar und Radar erfassen die relevanten Objekte in der Umgebung, sie fungieren quasi als Augen. Was den Automobilen bislang noch fehlt, ist der Hörsinn, sprich Systeme, die in der Lage sind, Außengeräusche wahrzunehmen und einzuordnen. Sie werden künftig im Zusammenspiel mit intelligenten Radar- und Kamerasensorik die Grundlage für das autonome Fahren bilden. Um das »hörende Auto« zu realisieren, entwickeln Forscherinnen und Forscher am Fraunhofer IDMT in Oldenburg KI-basierte Technologien zur akustischen Ereigniserkennung.
»Für autonome Fahrzeuge existieren externe akustische Wahrnehmungssysteme bisher nicht, trotz Ihres hohen Anwendungspotenzials. Sie signalisieren beispielsweise im Bruchteil einer Sekunde, wenn ein Fahrzeug mit eingeschaltetem Martinshorn naht. So weiß das autonome Fahrzeug, das es ausweichen muss, damit eine Rettungsgasse gebildet werden kann«, sagt Danilo Hollosi, Gruppenleiter Akustische Ereignisdetektion am Fraunhofer IDMT in Oldenburg. Neben der Sirenenerkennung gibt es zahlreiche weitere Szenarien, wo ein akustisches Frühwarnsystem unerlässlich ist: beim Einbiegen in Spielstraßen, aber auch zum Erkennen von gefährlichen Situationen oder Fehlern – etwa wenn ein Nagel im Reifen steckt. Darüber hinaus kann das System die Zustandsüberwachung des Fahrzeugs übernehmen oder per Spracherkennung als Notrufsäule fungieren.
Um das »hörende Auto« zu verwirklichen, bringen die Entwicklerinnen und Entwickler am Fraunhofer IDMT in Oldenburg spezielle Projekterfahrungen im Bereich Automotive sowie gruppenübergreifende Kompetenzen mit. Zu den Herausforderungen zählen die optimale Signalaufnahme durch Sensorpositionierung, die Signalvorverarbeitung und – verbesserung sowie die Störgeräuschbefreiung. Eigene Beamforming-Algorithmen ermöglichen die dynamische Lokalisation von sich bewegenden Schallquellen, wie beispielsweise das Martinshorn an einem Einsatzfahrzeug. Die Ereignis-Erkenner des IDMT wurden zuvor über Machine-Learning-Verfahren mit den akustischen Signaturen der relevanten Töne trainiert. Hierfür wurden eigens akustische Bibliotheken angelegt. So entstehen intelligente Sensorplattformen mit effektiver Erkennerleistung. Eigens entwickelte KI-basierte Algorithmen zur Audioanalyse ermitteln die Stör- und Zielgeräusche. »Wir wenden Methoden des Maschinellen Lernens an. Wir trainieren unsere Algorithmen mit unterschiedlichsten, zuvor erhobenen Geräuschen«, so Hollosi. Gemeinsam mit Industriepartnern wurden bereits erste Prototypen realisiert, die Mitte des kommenden Jahrzehnts marktreif sein sollen.
Die akustische Sensorik der IDMT-Forscherinnen und -Forscher setzt sich aus eingehausten Mikrofonen, Steuergerät und Software zusammen. Außen am Fahrzeug angebracht nehmen die Mikrofone den Luftschall auf. Die Sensoren leiten die Audiodaten an ein spezielles Steuergerät weiter, wo diese dann zu relevanten Metadaten weiterverarbeitet werden. In vielen anderen Anwendungsfällen, zum Beispiel im Sicherheitsbereich, in der Pflege oder bei Consumer-Produkten, verwerten smarte Sensoren die Audiodaten direkt und geben nur Metadaten weiter.
Die computerbasierten Verfahren zur Ereigniserkennung des Forscherteams lassen sich in angepassten Varianten auch in anderen Branchen und Märkten einsetzen, etwa zur Qualitätssicherung in der industriellen Produktion. Hier verarbeiten intelligente akustische Sensoren batteriebetrieben Audiosignale von Maschinen und Anlagen. Aus den Informationen, die drahtlos an eine Auswerteeinheit weitergeleitet werden, lassen sich Rückschlüsse auf den Zustand der Fertigungsanlagen ziehen und mögliche Schäden vermeiden. Automatische Spracherkenner ermöglichen berührungslose Dokumentationssysteme für professionelle Einsatzzwecke, beispielsweise in der Turbinenwartung.
Fraunhofer-Gesellschaft