«Man muss sich noch genauer fragen, ob eine Nachricht plausibel ist»

KI ist mit dem freien Zugang zu den heute zahlreich verfügbaren GenAI-Tools im Mainstream angekommen. Und kaum verwunderlich hat das auch Folgen in der Cybersicherheit. So ist etwa die Zahl der KI-gestützten Phishing- und Deep-Fake-Angriffe laut mehreren Untersuchungen spürbar angestiegen. Brian Ceccato, Cybersecurity Analyst und KI-Fachexperte beim Bundesamt für Cybersicherheit (BACS), ­berichtet, was davon bei Schweizer Unternehmen und Privatpersonen ankommt und wie man sich in diesem neuen Kapitel der Cyberbedrohungen verhalten sollte.

«Swiss IT Magazine»: Ganz besonders in der Cybersicherheit ist KI keine Neuheit. Viele Security-Dienste haben auch schon vor dem KI-Hype auf KI- und ML-basierte Features gesetzt. Durch die Demokratisierung von KI kommen aber auch Cyberkriminelle besser an diese ­Technologien. Registrieren Sie beim BACS seit der ChatGPT-Lancierung Veränderungen bei den Angriffsmustern?
Brian Ceccato: Tatsächlich haben wir bisher so gut wie keine gänzlich neuen Angriffsmuster registriert. Was man aber feststellen kann ist, dass KI viele der Angriffsmuster, die es bereits gab, sehr viel einfacher gemacht hat.


Bei welchen Angriffsarten beobachten Sie das?
Erstens kommt KI oft bei Phishing-Angriffen zum Einsatz. Diese kann ein Cyberkrimineller heute in seiner Muttersprache formulieren und eine KI kann diese gleich in mehrere andere Sprachen übersetzen – sogar auf Schweizerdeutsch. Weiter ist es heute sehr einfach, auf das Opfer massgeschneiderte Phishing-Mails zu schreiben. Man kann eine KI etwa anweisen, eine Unternehmens-Website zu verstehen und eine passende Phishing-Mail in der entsprechenden Sprache zu schreiben.

Oft genug ist die mangelhafte Qualität der Texte von Phishing-Mails das, was sie verdächtig macht. Wie gut und damit gefährlich ist diese neue Generation der Phishing-Mails?
Den meisten dieser Dienste kann man nicht einfach sagen, dass sie eine Phishing-Mail schreiben sollen, da wurden entsprechende Sicherheitshürden eingebaut. Diese kann man aber recht einfach umgehen, etwa indem die Prompt entsprechend formuliert wird – denn eine Marketing-Mail unterscheidet sich grundsätzlich nicht massgeblich von einer gut gemachten Phishing-Mail. Alternativ wird eines der zahlreichen Open-Source-LLMs mit weniger Restriktionen genutzt oder sogar entsprechend trainiert. Daher ist es recht einfach für eine KI, einen entsprechenden Text sauber zu schreiben.

Der Angriff selbst bleibt damit aber derselbe.
Genau – man möchte, dass der User auf einen Link klickt und seine Daten irgendwo eingibt. Daher bleibt auch die Verteidigung gleich.

Welche weiteren Phänomene registrieren Sie im Zusammenhang mit dem Einsatz von KI-Technologien in der ­Cyberkriminalität?
Neben dem klassischen Mailversand gibt es noch die ganzen Voice- und Video-Deep-Fake-Angriffe. Auch das ist nicht neu, denn wenn früher jemand ähnlich aussah oder klang wie der CEO einer Firma, konnte man einen ähnlichen Betrug auch schon durchführen. Aber dank KI ist die Hürde für einen solchen Angriff bedeutend tiefer. Man muss die Sprache nicht beherrschen und braucht niemanden, der ein bestimmtes Aussehen hat.

Was hat sich damit an der Sicherheitslage verändert?
Mit dem stark gesunkenen Aufwand für einen solchen Angriff sind nicht mehr nur sehr wertvolle Ziele wie Banken und ähnliches bedroht, sondern auch kleinere Unternehmen. Zum einen ist es viel einfacher, einen solchen Angriff überhaupt durchzuführen, zweitens ist er mit KI einfach zu skalieren.


Hat KI etwas im Malware-Bereich verändert?
Von Malware, die mit oder von KI programmiert wurde, hat das BACS aktuell noch keine Kenntnisse. Nach heutigem Wissensstand geht hiervon aktuell keine grosse Gefahr aus. Geforscht wird aber mit Sicherheit daran. Das ist auch ein wichtiges Thema für die Security-Hersteller, die ihre Detection-Methoden entsprechend anpassen müssen.

Die Demokratisierung der einfachen Textgenerierung durch ChatGPT und Co. spürt man also schon heute im Cyber­crime-Bereich. Es ist doch nur eine Frage der Zeit, bis die ­Demokratisierung der Software-Entwicklung auch zu mehr Malware führt, weil das jeder machen kann.
Die Frage ist, wie sich KI in den kommenden Jahren weiterentwickelt. Ja, wir haben sehr viel Neues gesehen in den letzten zwei Jahren. Aber man hat mittlerweile auch schon die Aussage gehört, dass man den Modellen schon das gesamte Wissen der Menschheit gefüttert hat und weitere Fortschritte nur noch mit künstlichen oder KI-generierten Trainingsdaten zu erreichen seien. Ob die KIs in nächster Zeit noch deutlich besser werden, ist derzeit also recht unsicher.

Was glauben Sie persönlich? Wird es nochmal einen grossen Sprung geben?
Meine eigene Einschätzung ist, dass wir aktuell tatsächlich ein Plateau erreicht haben. Die einfachen Weiterentwicklungen wurden gemacht und die notwendige grosse Rechenleistung ist schon im Einsatz. Für den nächsten KI-Quantensprung braucht es in meinen Augen wieder schlaue Menschen und die Erforschung neuer Konzepte und Ideen.

Aus Sicht der Cybersicherheit ist das erstmal beruhigend. Zusammenfassend: Ja, die Zahl der Phishing-Mails ist je nach Erhebung um mehr als 1000 Prozent angewachsen, ein Kampf von KI-Malware vs. KI-Antivirus auf all unseren Rechnern ist aber nicht in greifbarer Nähe.
Es ist immer schwierig, das genau zu sagen und noch schwerer, das mit Zahlen zu belegen. Lange hatten die Angreifer einen Vorsprung. Aber durch die aktuelle Verlangsamung der Entwicklung hat die Security-Seite nun wieder etwas Luft, um den natürlich gegebenen Vorsprung, den die kriminelle Seite in Sachen KI hat, wieder aufzuholen.


Registrieren Sie KI-unterstützte Angriffe beim BACS aktiv und gibt es nachvollziehbare Unterschiede, ob und wie ­Private im Vergleich zu Unternehmen betroffen sind?
Einer der klar definierbaren KI-Vorfälle hat beispielsweise ein Unternehmen getroffen. Dabei wurde ein CEO-Betrug mittels einem Deep-Fake-Video durchgeführt. Das BACS hat dazu in einem Wochenrückblick berichtet. Gesondert registriert werden diese Fälle beim BACS derzeit aber nicht, denn oft ist die Unterscheidung nicht ganz einfach, ob bei einem Phishing-Versuch KI verwendet wurde oder nicht. So wurden beispielsweise zahlreiche Meldungen des klassischen Enkeltrick-Betruges per Telefon gemeldet, aber genau zu sagen, welche davon mit Deep Fake durchgeführt wurden, ist schwer. Potenzial gibt es da aber sicher. Anzumerken ist hierzu, dass die meisten KI-Modelle anfangs auf Englisch trainiert werden, was es schwerer macht, sie in der Schweiz einzusetzen. Aber es gibt mittlerweile Modelle, die recht gut Schweizerdeutsch beherrschen. Damit wird es einfacher, Privatpersonen zu überlisten, während man als Cyberkrimineller bei Firmen auch auf Englisch und Hochdeutsch erfolgreich sein kann.

Ziehen diese Veränderungen der Bedrohungslage eine Anpassung der empfohlenen Sicherheitsmassnahmen nach sich?
Wenn der Computer immer schlauer wird, ist es umso wichtiger, dass der gesunde Menschenverstand mitzieht. Man muss sich noch genauer fragen, ob eine Nachricht plausibel ist. Etwa, ob es Sinn macht, dass der CEO mir einen Zahlungsauftrag gibt oder dass dieser Verwandte sich nun bei mir meldet. Der Fokus sollte nicht mehr auf untypischen Rechtschreibefehlern oder ähnlichem liegen, sondern auf der Frage nach der Sinnhaftigkeit. Im Fall des erwähnten Deep-Fake-Angriffs etwa waren die Kleider des imitierten CEOs nicht ganz passend und seine Stimme war etwas anders. Für solche Fälle sollte man untereinander ein Codewort definieren oder einen gesicherten Kanal für Rückfragen etablieren.

Die Definition eines Codewortes für wichtige Transaktionen ist ein Tipp, den man hier und dort schon mal gehört hat. Was meinen Sie mit dem Rückruf?
Wenn man einen direkten Kanal zum Vorgesetzten hat, etwa eine Skype-Adresse oder eine direkte Telefonnummer, ist ein Rückruf über diesen Kanal ein recht sicherer Weg.

…denn die Anrufnummer beim Betrugsversuch könnte per Spoofing gefälscht sein. Wenn ich aber zurückrufe, komme ich sicher am richtigen Ende raus.
Genau, wichtig ist aber eben, dass man immer nur den Kanal wählt, der einem schon davor bekannt war. Diese Art von konsequenter Zwei-Weg-Kommunikation ist eine einfache Massnahme, die vermehrt zum Einsatz kommen könnte. Ein Codewort alleine ist nicht die beste Sicherheitsmassnahme und sollte eine Ergänzung sein. Der Rückruf auf einem anderen, jedoch bekannten Kanal, ist die sicherste Variante.


Wie sieht die Sicherheitssituation rund um die Trainingsdaten aus, die den KI-Modellen zugrunde liegen? Manipulation an den Grundlagen der KI-Produkte wären ja durchaus ein Problem.
Zu konkreten Manipulationsversuchen ist dem BACS nichts bekannt. Aus Sicht der KI-Hersteller ist das Thema aber besonders interessant, weil diese aktuell an Tools arbeiten, die feststellen sollen, ob etwas KI-generiert ist. Dies vor allem, um sicherstellen zu können, dass ihre eigenen Trainingsdaten nicht KI-generiert sind und sie weitertrainieren können.

Denn dafür braucht es Trainingsdaten aus der Hand von Menschen.
…aber wir wissen aus der IT-Sicherheit: Einem User-Input sollte man niemals vertrauen. Ohne eine entsprechende Verifizierung weiss man also nie ganz genau, was bei einer KI letztlich rauskommt. Dazu kommt, dass die Personen, die die KI trainieren, voreingenommen sein könnten. Daher macht es auch Sinn, dass man sich rechtlich damit befasst – und das passiert derzeit ja auch, etwa in der EU oder in der Bundesverwaltung. Und natürlich muss man sich aus Anwendersicht eines Unternehmens immer auch überlegen, ob es richtig ist, produktive Daten in ein KI-Modell einzuspeisen.

Gibt es da Beispiele, bei denen das nicht gut rausgekommen ist?
Bekannt ist ja beispielsweise der Fall einer kanadischen Airline, bei der ein KI-Chatbot falsche Informationen über Rückerstattungen herausgegeben hat. Die Airline wurde schliesslich dazu verpflichtet, die betreffenden Tickets zurückzuerstatten. Das ist noch nicht mal böswillig.

Gab es auch Fälle, bei denen böswillige Absichten ausschlaggebend waren?
Ja, es gab etwa einen Fall bei einem amerikanischen Autohändler: Dieser liess Autoverkäufe von einem Chatbot abwickeln. Und jemand konnte diesen Chatbot dazu überreden, alle Preise auf einen Dollar festzusetzen. Rechtlich war das natürlich nicht stichfest, aber es zeigt eben, dass solche Probleme bestehen. Man kann das ein bisschen mit der Zeit vergleichen, in der Datenbanken für Websites aufgekommen sind: Da haben alle Websites eine MySQL-Datenbank angehängt und plötzlich hatten wir überall SQL-Injections.

Wenn man als Unternehmen KI-Nutzung evaluiert, was ist bezüglich Sicherheit schlauer: Ein Modell eines grossen Herstellers zu nutzen, der durch seine Grösse viel in Sicherheitsvorkehrungen stecken kann? Oder ergibt es mehr Sinn, sich ein Open-Source-Modell anzuschauen und auf Schwarmintelligenz und kollektive Kontrolle zu setzen?
Eine spannende Frage – denn besonders der Datenschutz spielt hier eine grosse Rolle. Man sollte sich gut überlegen und sich informieren, welche Daten man im Rahmen der Nutzung wohin schickt. Alternativ kann man den KI-Einsatz nämlich mit einer lokalen Installation eines verfügbaren Open-Source-Modells gut testen. Persönlich bin ich ein Fan der Open-Source-Modelle, es gibt da starke Produkte, bei denen man sicher ist, dass keine Daten abfliessen.

Das BACS gibt ja verschiedene Sicherheitsempfehlungen raus, allen voran die zum Grundschutz, die eine grundlegende Cybersicherheit gewährleisten sollen. Wie Sie eingangs beschrieben haben, hat sich aber nicht die Art, sondern vor allem die Masse der Angriffe verändert. Bleiben damit auch die Handlungsempfehlungen für Unternehmen und Private dieselben?
Die Empfehlungen haben sich wenig verändert, sie sind aber wichtiger denn je. Es gilt nach wie vor: Sorgen Sie für die Umsetzung des Grundschutzes, seien Sie wachsam, benutzen Sie gesunden Menschenverstand.


Was raten Sie konkret den Unternehmen zum Thema KI-Awareness?
Heikel wird’s, wenn es im Unternehmen Aufgaben wie das Übersetzen von Texten gibt und die Mitarbeitenden, um ihre Arbeit zu erleichtern, Tools wie ChatGPT oder DeepL ohne Rücksprache verwenden. Entweder muss man die Mitarbeitenden entsprechend sensibilisieren oder man besorgt Lizenzen für einen Dienst, bei dem der Datenschutz gewährleistet ist. KI einfach ganz zu verbieten ist aber natürlich schwer, wenn die Nutzung wirklich Arbeit einspart.

…sonst brauchen die Mitarbeiter das an den Sicherheitsmassnahmen vorbei, was zu noch grösseren Problemen führt.
Das ist so. Im schlimmsten Fall wird ein zu übersetzender Text dann sogar noch auf ein privates Gerät geschickt, um die Übersetzung dort zu erledigen. Es ist also wichtig, den Mitarbeitenden bei diesem Thema zuzuhören und sie zu fördern, wenn sie Ideen haben, wie KI eingesetzt werden kann. Sensibilisierung und gute Erfahrungen der Nutzer fördern damit sowohl die Innovation als auch die Sicherheit und den Datenschutz.

Stichwort Innovation: Wohin wird sich Cyberkriminalität und -sicherheit in dieser neuen KI-Welt in den nächsten Jahren hin entwickeln?
Es gibt gerade viele spannende Entwicklungen in diesem Bereich, beispielsweise das Training von KIs auf Passwörter. Es werden ja immer mal wieder grosse Listen von gestohlenen Passwörtern veröffentlicht, da kann man natürlich eine KI darauf ansetzen, die diese analysiert, Muster findet und künftige Passwörter zu erraten versucht. Je nach Zeichenanzahl kann das effizienter sein als Brute Forcing. Weiter ist natürlich zu erwarten, dass Deep Fakes immer einfacher zu erstellen und qualitativ immer besser werden. Und damit gehen Themen wie Erpressungen und Rufschädigung mit Deep Fakes einher. Das BACS wird dazu im internationalen Awareness-Monat im Oktober eine entsprechende Informationskampagne starten.

Wie sieht es mit der bereits angesprochenen KI-Malware aus? Ist das ein Horrorszenario, auf das wir uns einstellen müssen?
Die Befürchtung, dass adaptive Malware real werden könnte, ist sicher da. Aber die Security-Hersteller haben diesbezüglich spannende Forschungsansätze und aktuell ist das Thema noch nicht wirklich aktuell. Es bleibt aber spannend, dies weiter im Auge zu behalten. Nach wie vor ist man gut bedient, wenn man den Grundschutz einhält und den gesunden Verstand benutzt.