KI-Glossar
Prompt Injection
Prompt Injection ist ein Angriff, bei dem Text einer Nutzerin oder aus Daten Anweisungen enthält, die ein Modell dazu bringen, seine eigenen Regeln zu ignorieren.
Direkte Injection ist eine Person, die „Ignoriere deine bisherigen Anweisungen“ tippt. Indirekte ist schlimmer: Die Anweisung steckt in einer Webseite, E-Mail oder einem Dokument, das das Modell bei der Arbeit liest.
Ein Modell kann Anweisungen und Daten nicht verlässlich unterscheiden, denn beides ist Text in seinem Kontext. Die Abwehr besteht darin zu begrenzen, was eine eingeschleuste Anweisung bewirken könnte.
Geben Sie dem Modell so wenig Macht wie nötig, halten Sie Geheimnisse aus seinem Kontext, prüfen Sie Werkzeugaufrufe im Code und fragen Sie vor riskanten Aktionen einen Menschen.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.