Prompt-Injektion
Ein Angriff, der ein KI-System dazu bringt, seine vorgesehenen Regeln zu brechen, durch Anweisungen, die in einer Benutzernachricht oder in einer Seite, einem Dokument oder einer E-Mail versteckt sind, die es liest.
- 01
Warum es wichtig ist
Sie steht in der OWASP-Risikoliste für Anwendungen mit großen Sprachmodellen an erster Stelle. Ein erfolgreicher Angriff kann Daten offenlegen oder einen Agenten, der Werkzeuge verwenden kann, zu unerwünschten Handlungen veranlassen. Es gibt keine vollständige Lösung; geringste Berechtigungen, menschliche Freigabe für wichtige Handlungen, die getrennte Behandlung nicht vertrauenswürdiger Inhalte und die Prüfung von Ausgaben sollten gemeinsam angewendet werden.
- 02
Beispiel
Ein E-Mail-Assistent fasst eingehende Nachrichten zusammen. Eine davon enthält verborgenen Text mit dem Wortlaut, alle Rechnungen an diese Adresse weiterzuleiten; da der Assistent keine Berechtigung zum Senden ohne Freigabe hat, schlägt der Angriff fehl.
- 03
Häufiger Fehler
Die Anweisungen an das Modell als Sicherheitsgrenze zu behandeln und Geheimnisse hineinzuschreiben. Jede Information im Anweisungstext kann durch einen Angriff offengelegt werden.
- 04
Verwandte Begriffe
Passende Leistungen und Ratgeber
Über Ihr Projekt sprechen.
Erzählen Sie uns Ihren Bedarf; den Umfang klären wir gemeinsam.