Desinformation und Cybersicherheit

^{Webspecial Fraunhofer-Magazin 2.2024}

Im Superwahljahr 2024 wird Realität, wovor Fachleute seit Jahren warnen: Deepfakes und Desinformation haben durch Künstliche Intelligenz einen riesigen Professionalisierungsschub erhalten. Und immer mehr Menschen fragen sich: Kann ich meinen Augen und Ohren noch trauen?

Bundeskanzler Scholz verkündet in einer Ansprache das Verbot der AfD. Donald Trump wird von Polizisten festgenommen. Der ukrainische Präsident Wolodymyr Selenskyj ruft die Kapitulation seines Landes aus. So mancher würde sich über diese News freuen. Doch die Videos und Bilder dazu sind gefälscht: Deepfakes. Ebenso wie ein Tom Cruise, der kurz vor den Olympischen Spielen in Paris das Internationale Olympische Committee IOC der Korruption beschuldigt, oder Superstar Taylor Swift, die in diversen Schmuddelfilmen das Netz flutet.

Manipulationen in Bildern und Desinformation hat es schon immer gegeben – vor allem vor Wahlen. Doch noch nie war es so einfach wie heute, täuschend echte Fake-Inhalte zu erstellen: Mit den richtigen Prompts und ein bisschen Nachbearbeitung lassen sich massenweise Fotos von Situationen erstellen, die es nie gegeben hat. Mit einem einzigen Foto und einer kurzen Tonspur können Menschen Dinge in den Mund gelegt werden, die sie nie gesagt haben. Wenige Sekunden Original-Sprachaufnahmen genügen, um gefälschte Mitschnitte eines vermeintlich konspirativen Telefonats zu generieren. Vorbei die Zeit, in der man den eigenen Sinnen noch vertrauen konnte.

»Kaum jemand hätte gedacht, dass sich die Fälschungsmethoden für Deepfakes so rasend schnell entwickeln würden«, sagt Prof. Martin Steinebach. »Brauchte es vor zwei Jahren noch gute Schauspieler, um Deepfake-Videos annähernd realistisch wirken zu lassen, sehen manche Deepfakes heute fast schon besser aus als das Original.« Der Multimedia-Forensiker beschäftigt sich am Fraunhofer-Institut für ­Sichere Informationstechnologie SIT in Darmstadt bereits seit vielen Jahren mit technischen Erkennungsmethoden. Er untersucht, wie verschiedene Fälschungsverfahren funktionieren, welche Spuren sie hinterlassen und wie man diese automatisiert detektieren kann.

Neu ist nicht nur die Qualität, sondern auch die Quantität der Desinformationskampagnen: Die Fake-Operation »Spamouflage« eines chinesischen Netzwerks bringt es auf Hunderttausende Konten bei mehr als 50 Internetseiten – inklusive aller großen sozialen Netzwerke. Davon setzt sie Abermillionen Posts ab. Bis 2022 konzentrierten sich die Spammer darauf, pro-chinesische Narrative zu verbreiten. Doch nun fokussieren sie sich auf den US-amerikanischen Wahlkampf und streuen gezielt Desinformationen. Das Perfide: Waren die »Spamouflage«-Beiträge bislang noch durch ihre Rechtschreibfehler und abenteuerliche Grammatik schnell als Fake auszumachen und ihre Wirkung daher überschaubar, wendet KI das Blatt.

Auch Unternehmen im Visier

Wie perfekt gefälschte Welten funktionieren, zeigt ein Beispiel aus Hongkong. Dort saß ein Angestellter eines internationalen Konzerns einer komplett gefälschten Videokonferenz mit mehreren Mitarbeitenden seines Unternehmens auf – alles Fake. Die vermeintlichen Kollegen brachten ihn dazu, fast 24 Millionen Euro an die Drahtzieher zu überweisen. Diese hatten offenbar zuvor interne Videoaufzeichnungen des Unternehmens gehackt und sie mit KI-generierten Stimmen versehen. Dass er der einzig echte Mensch in der Konferenz war, bemerkte der Betrogene erst, als er danach mit seinem wirklichen Chef telefonierte.

Von solchen oder ähnlichen Szenarien könnte man in Zukunft auch hierzulande öfter hören. Im Mai hat das Bundeskriminalamt sein »Bundeslagebild Cybercrime« für 2023 veröffentlicht. Die Zahl der Straftaten, die aus dem Ausland auf Deutschland verübt wurden, ist danach im vergangenen Jahr um 28 Prozent gestiegen. Durch die Angriffe entstand ein Schaden von 206 Milliarden Euro.

Desinformation ist größtes Problem unserer Zeit

»Die bedeutendsten Herausforderungen unserer Tage sind nicht der Klimawandel, der Verlust an Biodiversität oder Pandemien. Das bedeutendste Problem ist unsere kollektive Unfähigkeit, zwischen Fakten und Fiktion zu unterscheiden«, bringt es der renommierte Club of Rome auf den Punkt – jene Organisation, die vor mehr als 50 Jahren die ökologischen Folgen des Wirtschaftswachstums angeprangert hatte. Die Konsequenzen der digitalen Manipulation sind Vertrauensverlust und eine polarisierte, verunsicherte Gesellschaft, in der Menschen sich nicht mehr über grundlegende Tatsachen einigen können. Wo Vertrauen erodiert, wird eher jenen Informationen geglaubt, die die eigene Sichtweise bestätigen. Und damit schrumpft die Faktenbasis für einen demokratischen Diskurs weiter. So wundert es kaum, dass 81 Prozent der Deutschen denken, Desinformation bedeute eine Gefahr für die Demokratie und den gesellschaftlichen Zusammenhalt. Das zeigt die diesjährige Studie »Verunsicherte Öffentlichkeit« der Bertelsmann-Stiftung.

Die Ursprünge von Desinformationskampagnen verorten 67 Prozent der Befragten bei Protest- und Aktivistengruppen, 60 Prozent bei Bloggern und Influencerinnen sowie knapp die Hälfte bei ausländischen Regierungen. Die Studie erlaubt auch den Vergleich mit den USA. Dort sind die Verunsicherung über und die Wahrnehmung von Desinformation noch ausgeprägter als in Deutschland. Während sich 39 Prozent der befragten US-Amerikaner sorgen, selbst von Desinformation getäuscht zu werden, und daher Inhalte häufiger und kritischer überprüfen, glauben Deutsche fest an ihre eigene Urteilsfähigkeit: Das Risiko, sich selbst durch Desinformation beeinflussen zu lassen, bewerten nur 16 Prozent als hoch oder sehr hoch, 78 Prozent als gering. Diese Selbstsicherheit könnte sich mit den neuen Möglichkeiten durch KI als Trugschluss erweisen.

Wo KI helfen kann, Deepfakes zu erkennen

Die Methoden der Manipulation sind vielfältig: So werden beim Face Swapping zwei Gesichter aus unterschiedlichen Aufnahmen einfach ausgetauscht. Beim sogenannten Facial Reenactment spricht eine Person einen falschen Text ein und steuert eine Zielperson in einem echten Video mit ihren Bewegungen und Gesten fern – in Echtzeit. »Neu ist die Möglichkeit, mit Voice Cloning und Lippensynchronisation überzeugende Videos beliebiger Inhalte zu erstellen«, weiß Prof. Martin Steinebach, der Forensik-Experte vom Fraunhofer SIT: »Dazu werden existierende Videos einfach mit einer KI-generierten gefälschten Tonspur hinterlegt und die Lippenbewegungen daran angepasst.«

Um derart manipulierte Bilder oder Videos zu ­erkennen, setzt das Team um Steinebach auf eine Kombination aus Deep Learning und klassischer Signalverarbeitung. Mit Letzterer lassen sich weichgezeichnete oder leicht verwaschene Strukturen in einem Bild erkennen, die typisch für Deepfakes sind. »Wir messen die Frequenzanteile von bestimmten Bildausschnitten und vergleichen sie mit anderen Teilen etwa im Hintergrund. Zeigen sich Abweichungen, kann das ein Indiz für eine Fälschung sein.« Da Deepfakes immer nur einen Bereich in echten Videos austauschen, hat dieser Bereich auch abweichende statistische Eigenschaften. Diese lassen sich mit einer tiefergehenden Pixelanalyse erkennen. Wird nicht das Video selbst, sondern nur die Tonspur verändert, lassen sich bereits bekannte Aufnahmen oft leicht mit inversen Bildersuchen wiederfinden. Dabei sind vor allem die gleiche Gestik, aber abweichende Lippenbewegungen verräterisch.

Vorsicht bei automatischen Detektoren

Zwar sind heute bereits einige KI-basierte Erkennungstools auf dem Markt, die einfache und billige technische Lösungen versprechen. Doch wie realistisch ist die Wahrheit auf Knopfdruck? Steinebach warnt davor, sich in Videokonferenzen oder Browsern auf Online-Detektoren zu verlassen. »Dazu sind die Fehlerraten noch zu hoch und es würde mehr verunsichern als nützen, wenn ständig Warnungen kämen.« Vielmehr plädiert er dafür, solche Lösungen nur in Verbindung mit mehreren geschulten Expertenaugen einzusetzen. Forensische Gutachten, in die weitere Faktoren wie Quellen, Fälschungsszenarien, Plausibilitätsprüfungen oder etwaige Umgehungsstrategien mit einfließen, bieten eine wesentlich höhere Sicherheit. Wegen ihrer Kosten werden solche Analysen jedoch meist nur in besonders sicherheitskritischen oder rechtlich relevanten Bereichen in Auftrag gegeben.

Wie sehr bei den meist noch zweistelligen Fehlerraten gängiger Detektoren Vorsicht geboten ist, dass sie gar missbraucht werden können, verdeutlicht folgendes Beispiel: Nach dem Angriff der Hamas auf Israel am 7. Oktober 2023 veröffentlichte die israelische Regierung mehrere Bilder verbrannter Babyleichen, um die Gräueltaten der Terroristen zu belegen. Bei einem der Fotos schlug ein Fake-Detektor fälschlicherweise an. Daraufhin generierten die Widersacher ein neues Bild mit KI, in dem sie die Kinder gegen tote Hunde austauschten, und das sie dann als Originalbild deklarierten. Auf diese Weise sollten auch alle anderen Beweisbilder, bei denen kein Detektor anschlug, als Fälschungen und die Israelis als Betrüger diskreditiert werden.  

Auch das britische Königshaus musste im ­Frühjahr die Auswirkungen solcher Falsch-Positiv-­Meldungen erfahren. Kaum machte bei einem Familienbild der Royals ein Online-Detektor Unregelmäßigkeiten aus, war der Skandal perfekt. Dass die gesamte Fachwelt nichts Verdächtiges fand und letztlich eine Standardbildbearbeitung, wie sie Hobbyfotografen oft machen, ausschlaggebend war, ging in der sich überschlagenden Berichterstattung fast unter.

Wenn die Detektion von Fälschungen noch derart fehlerbehaftet ist, hilft eine andere Methode, zumindest die Originale zu erkennen: »Die einzige Strategie, mit der man heute relativ sicher sein kann, ist eine Positiv-Signatur: Neuere Digitalkameras versehen ihre Bilder mit einer kryptografischen Signatur, die nur schwer zu fälschen ist. Auch entsprechende Handy-Apps sind verfügbar«, so Steinebach. »Zudem arbeiten große IT-Konzerne an neuen Sicherheitsstrategien, bei denen – ähnlich dem Blockchain-Konzept – zum Beispiel alle Verarbeitungsschritte eines Bildes signiert und gespeichert werden.« Diese Nachricht dürfte auch die britischen Royals freuen.

Audio-Deepfakes: Trau deinen Ohren nicht

Zunehmend beliebter bei Kriminellen werden sogenannte Voice-Cloning-Techniken, das Klonen von Stimmen. Mit dieser Technik beeinflussten Angreifer den Wahlkampf um die slowakischen Parlamentswahlen 2023. Zwei Tage vor der Wahl kursierte in sozialen Netzwerken ein Audioclip, in dem sich angeblich eine bekannte Journalistin und der Vorsitzende der Partei Progressive Slowakei darüber unterhielten, wie man die Wahlen manipulieren könne. Das gefälschte Gespräch hat nie stattgefunden, aber der Clip erreichte Tausende Nutzer. Auch in den USA dürften sich Anfang des Jahres einige Demokraten gewundert haben, als Joe Biden persönlich anrief und sie aufforderte, nicht an den US-Vorwahlen teilzunehmen. Die Stimme des US-Präsidenten war KI-generiert, die Anrufe erfolgten automatisiert.

»Schon aus 20 Sekunden Audiomaterial lassen sich heute typische Stimmmerkmale herausfiltern und damit ganz neue Sätze erzeugen«, beschreibt Sicherheitsexperte Dr. Nicolas Müller vom Fraunhofer-Institut für Angewandte und Integrierte Sicherheit AISEC in Garching eine Technik des Maschinellen Lernens, das sogenannte Few-shot learning. Es reicht also ein kurzer Ausschnitt einer öffentlichen Rede, um Gespräche oder Vorträge zu manipulieren. Waren vor einem Jahr noch viele Programme damit überfordert, mindestens 16 000 Datenpunkte pro Sekunde konsistent zu fälschen, ist das mit KI inzwischen kein Problem mehr. Und funktioniert sogar nahezu in Echtzeit. Dennoch gibt es laut Müller auch hier Anhaltspunkte, wenn man ganz genau hinhört: »Eine KI-generierte Stimme ist teilweise monoton mit unnatürlichen Betonungen, kleinen Verzögerungen und wenigen Emotionen.«

KI nutzen die Sicherheitsexperten am Fraunhofer AISEC auch für den Gegenangriff: Sie trainieren und entwickeln Lösungen, die Audio-Deepfakes automatisiert als Fälschungen entlarven sollen. Dafür generieren sie zunächst künstliche Audio- und Video-­Daten und entwickeln anhand derer Algorithmen, die sie an kleinsten, menschlich kaum wahrnehmbaren Unstimmigkeiten erkennen. Auf der Website deepfake-total.com stellen die Fraunhofer AISEC-Forschenden ihre Entwicklungen der Allgemeinheit zur Verfügung. Dort kann man Links oder Dateien hochladen, um zu testen, ob die Inhalte gefälscht sind. Dabei gilt laut Müller: »Aufnahmen von bekannten Generatoren werden von solchen Tools meist besser erkannt als Inhalte aus ganz neuen Quellen.«

Die Professionalisierung von Audiofakes erhöht auch das direkte Betrugsrisiko. Jedem, der einen verdächtigen Anruf von Verwandten oder Bekannten erhält, die ihn um eine schnelle Geldüberweisung oder die Herausgabe vertraulicher Daten bitten, rät Müller, aufzulegen und – wenn möglich auf einem anderen Kanal – zurückzurufen. Er und sein Team forschen zudem an Methoden, die Systeme zur Gesichts- oder Spracherkennung, zum Beispiel Voice-ID-Systeme, robuster und resilienter gegen Manipulationen und Angriffe machen. Neben den Risiken ist dem Forscher aber auch daran gelegen, auf die Chancen von Sprachgeneratoren hinzuweisen. »Sie können beispielsweise Menschen mit Sprachbehinderungen helfen, von Sprachassistenten oder von anderen Menschen besser oder überhaupt verstanden zu werden.« Aktuell forscht zum Beispiel Google an KI, die atypische, schwer verständliche Sprache in eine fließende Sprache übersetzt.

Schnelligkeit vs. Sorgfalt: Das Dilemma der sozialen Medien

Geht es um Fake-Inhalte, lohnt auch ein Blick auf deren Verbreitungswege. Social-Media-Plattformen sind in der Pflicht, verdächtige Inhalte zu kennzeichnen, tun sich aber schwer. Denn der Prozess ist langwierig: Zuerst gilt es zu erkennen, ob ein Inhalt problematisch ist. Das passiert entweder durch interne Rechercheteams oder man verlässt sich auf Meldungen von Nutzern, was alles andere als zuverlässig und effektiv funktioniert. Denn nichts ist schwarz oder weiß: »Zu unterscheiden, ob ein Inhalt Entertainment oder echte Nachricht ist, ob es ernst zu nehmen oder überspitzte Satire ist, ist weder für Menschen noch Maschinen einfach«, weiß Martin Steinebach vom Fraunhofer SIT. »Was zudem oft übersehen wird: Viele Desinformationen sind auch keine platten Lügen, sondern Wahrheiten, die mit bösartiger Absicht verbreitet oder aus dem Kontext gerissen werden.« Im zweiten Schritt muss entschieden werden, ob ein Post überhaupt relevant ist, also oft geteilt wird oder destabilisierend wirken soll. Erst dann kann der Inhalt entsprechend markiert, gelöscht oder gesperrt werden. »Doch bis dahin sind Tage vergangen und die Falschmeldung wurde schon längst in aller Welt verbreitet«, sagt der Forensik-Experte. Geschwindigkeit ist also entscheidend. Und genau da liegt das Problem: Denn die nötige Sorgfalt bei der Prüfung darf nicht der Reaktionsschnelligkeit zum Opfer fallen.

Selbst wenn Fake-Inhalte auf den großen Plattformen gelöscht sind, kursieren sie oft noch lange in Messenger-Diensten wie Telegram. Diese Kanäle nehmen die Forschenden am Fraunhofer SIT im Projekt »Dynamo« genauer unter die Lupe. Um die Dynamik von Desinformationskampagnen dort zu verstehen, untersuchen sie, wie sich die Inhalte über Messenger verbreiten, aber auch wie sie mit anderen Kanälen zusammenspielen. Interessant ist für sie, welche Eigenschaften dieser Dienste sie anfällig für Desinformationskampagnen machen, ob es Muster in der Verbreitung gibt und welche Gegenstrategien sich daraus ableiten lassen. Ziel ist es, technische Hilfsmittel und Ansätze gegen  Fake News zu entwickeln und diese der Öffentlichkeit voraussichtlich im Herbst zur Verfügung zu stellen.

KI-Tools kein Ersatz für selbstständiges Denken

Egal ob in Bild, Ton oder Text, technische Erkennungsmethoden können letztlich nur Anhaltspunkte geben, genauer hinzuschauen. Entscheiden, was plausibel, was wahr oder falsch ist, muss am Ende immer noch jede und jeder selbst. »Wir sehen mit etwas Sorge, wie weit in Politik und Gesellschaft mitunter der Glaube verbreitet ist, allein mit Technologie ließe sich Desinformationskampagnen entgegenwirken oder die KI könnte für uns entscheiden, was wahr oder unwahr ist«, warnt Steinebach. »Damit macht man es sich zu leicht. Denn die KI hat nicht mehr Durchblick in Urteilsfragen als der Mensch.«

In Situationen, die schon die meisten Menschen nur schwer fundiert beurteilen können, wird also auch ein KI-Tool keine einfache Antwort geben. Leider zielen Desinformationskampagnen genau auf solche Themen ab: Am aktivsten waren die Manipulatoren während der Corona-Pandemie, im Ukrainekrieg oder im aktuellen Nahost-Konflikt. »Die gefährlichsten Fakes sind immer die, in denen auch ein Fünkchen Wahrheit steckt. Doch genau die sind am schwersten zu erkennen – von Mensch und KI«, ist Steinebach überzeugt. Einen Tipp hat er dennoch vor allem für Personen des öffentlichen Lebens und Politiker, die häufig Opfer solcher Kampagnen werden. Er empfiehlt den Aufbau von Infrastrukturen für Recherchen: »Das könnten zum Beispiel Datenbanken oder Bereiche auf einer Website sein, wo sämtliches offizielles Bild- und Videomaterial abliegt. Mit diesem könnten Forensiker dann etwaige Fälschungen abgleichen und sie so leichter entlarven.«

Ist auch der Wunsch nach einfachen Antworten in Zeiten komplexer Informationslagen und Unsicherheiten verständlich: KI wird uns selbstständiges Denken und eigene Entscheidungen nicht abnehmen! Vielmehr gilt es, den schwierigen Spagat zu schaffen zwischen dem Schutz vor Desinformation und dem Schutz der Meinungsfreiheit. Und das kann nur durch einen breiten gesellschaftlichen Diskurs, eine ausgeprägte Medienkompetenz und eine wachsame, kritische Öffentlichkeit gelingen.