BSI warnt: Selbst führende KI-Anbieter scheitern beim Schutz vor Prompt-Attacken

Selbst führende Anbieter sind laut dem Bundesamt für Sicherheit in der Informationstechnik (BSI) nicht zuverlässig gegen sogenannte Evasion-Angriffe auf KI-Sprachmodelle geschützt. Dabei schleusen Angreifer versteckte Anweisungen in scheinbar harmlose Inhalte ein, etwa über Webseiten, E‑Mails oder Code‑Dateien. Das kann dazu führen, dass Modelle Sicherheitsregeln umgehen, Daten preisgeben oder unerwünschte Aktionen ausführen.

Das BSI hat nun einen Leitfaden mit konkreten Gegenmaßnahmen veröffentlicht, darunter technische Filter, sicheres Prompt-Design und organisatorische Schutzmaßnahmen. "Es muss jedoch beachtet werden, dass es derzeit keine einzelne, absolut sichere Lösung zur Abwehr von Evasion‑Angriffen gibt", schreibt das BSI.

Besonders agentische KI-Systeme gelten als anfällig, wie aktuelle Studien zeigen. Bei Googles Gemini genügte etwa ein manipulierter Kalendereintrag für einen Datenleak. ChatGPTs Deep Research ließ sich von versteckten HTML-Instruktionen in einer E-Mail manipulieren.