PROMPT INJECTION CHECK · LEARN
Was ist Prompt Injection?
Prompt Injection bezeichnet einen Versuch oder ein Muster in Inhalten, das ein KI-System dazu bringen kann, Anweisungen zu folgen, die der beabsichtigten Aufgabe des Nutzers widersprechen.
Beabsichtigte Aufgabe und nicht vertrauenswürdiger Inhalt
Ein KI-System kann sowohl die Aufgabe des Nutzers als auch Inhalte aus einem Dokument, einer Nachricht oder einer anderen Quelle erhalten. Enthalten diese Inhalte anweisungsähnlichen Text, könnte das System ihn befolgen, statt ihn lediglich zu analysieren.
Ein einfaches Beispiel
Ein Nutzer bittet ein KI-System, ein Dokument zusammenzufassen. Im Dokument steht jedoch, die KI solle die Zusammenfassung ignorieren und eine andere Aufgabe ausführen. Dieser Text gehört zum zu analysierenden Inhalt, kann das System aber trotzdem beeinflussen.
Warum eine Prüfung hilft
Die Prüfung vor der Weitergabe an ein KI-System kann auf anweisungsähnlichen Text, versteckte Inhalte oder ungewöhnliche Dokumentstrukturen aufmerksam machen. Ein Scanner kann dabei helfen, aber weder die Absicht des Autors bestimmen noch die Entdeckung jeder Technik garantieren.
Ein Fund ist kein Urteil
Ein Fund bedeutet, dass der Scanner ein prüfenswertes Signal erkannt hat. Er beweist keine böswillige Absicht. Auch harmlose Dokumente können ähnliche Muster enthalten; der Kontext zählt.