Visuelles GPT-4 lässt sich leicht manipulieren

Auch visuelle KI-Modelle wie GPT-4V lassen sich via der Prompt Injection-Methode manipulieren. Das erklärt KI-Forscher Simon Willison in einem Blog-Eintrag. Bei Prompt Injection handelt es sich üblicherweise um Texteingaben, die das Ignorieren früherer Anweisungen und Richtlinien, die Offenlegung zugrundeliegender Daten oder die Manipulation der Ausgabe zur Folge hat, um Inhalte zu erzeugen, die normalerweise untersagt sind.


Willison hat das Vorgehen nun für das visuelle Modell leicht abgewandelt. Möglich ist die Manipulation über in die Bilder eingefügte Textbefehle. Das führt dazu, dass das KI-Modell andere Anweisungen des Nutzers ignoriert und dem Text im Bild folgt. Dieser kann zudem als nicht sichtbarer Inhalt in der Datei versteckt werden – beispielsweise als Schrift auf weissem Hintergrund.

"Ich finde nichts davon besonders überraschend", schreibt Willison. "Dies sind klassische Prompt-Injection-Angriffe, und Prompt Injection bleibt ein hartnäckig ungelöstes Problem – 13 Monate, nachdem wir angefangen haben darüber zu reden!" Das grundsätzliche Problem sei: "Grosse Sprachmodelle sind leichtgläubig. Ihre einzige Informationsquelle sind ihre Trainingsdaten in Kombination mit den Informationen, die Sie ihnen geben. Wenn Sie sie mit einer Eingabeaufforderung füttern, die bösartige Anweisungen enthält – wie auch immer diese Anweisungen präsentiert werden –, werden sie diese Anweisungen befolgen." Das sei schwer zu lösen, so Willison. "Der Versuch, zwischen guten Anweisungen und schlechten Anweisungen zu unterscheiden, ist ein sehr schwieriges – und derzeit unlösbares – Problem." Das Einzige, was man aktuell tun könne, bleibe es, sich dieser Herausforderung bewusst zu sein. (sta)