Glossar

Prompt Injection

Prompt Injection ist anweisungsähnlicher Inhalt, der ein KI-System zu Handlungen bewegen kann, die der beabsichtigten Aufgabe des Nutzers widersprechen.

Was ist Prompt Injection?

Nicht vertrauenswürdiger Inhalt

Inhalte aus Dokumenten, Nachrichten, Websites, Dateien oder anderen Quellen sollten als zu prüfendes Material behandelt werden und nicht als vertrauenswürdige Anweisungen.

Prüfung vor der KI-Nutzung

Eine solche Prüfung findet statt, bevor ein KI-System den Inhalt erhält, damit Signale und Angaben zum Prüfumfang zuerst beurteilt werden können.

Scanner

Fund

Ein Fund ist ein vom Scanner beobachtetes Signal, das geprüft werden sollte. Er beweist nicht, dass der Inhalt böswillig ist.

Funde richtig prüfen

Prüfumfang

Der Prüfumfang beschreibt, was der Scanner untersuchen konnte, einschließlich nur teilweise prüfbarer oder nicht zugänglicher Bereiche. Er ist unabhängig davon, ob Funde vorliegen.

Funde richtig prüfen

Versteckter oder schwer sichtbarer Inhalt

Solcher Inhalt fällt bei einer schnellen Sichtprüfung möglicherweise nicht auf, etwa Kommentare, Metadaten, alternative Textkanäle oder schwer erkennbare Formatierung, soweit unterstützt.

Versteckte Anweisungen in Dateien

Dokumentstruktur

Die Dokumentstruktur beschreibt die Anordnung von Inhalten und Daten in einer Datei, auch außerhalb des sichtbaren Fließtextes. Unterschiedliche Formate bieten unterschiedliche prüfbare Strukturen.

Versteckte Anweisungen in Dateien

Falsch positiver Fund

Ein falsch positiver Fund liegt vor, wenn harmloser Inhalt zur Prüfung markiert wird, obwohl das Signal im tatsächlichen Zusammenhang unproblematisch ist.

Falsch negatives Ergebnis

Ein falsch negatives Ergebnis liegt vor, wenn relevanter anweisungsähnlicher Inhalt vom Scanner nicht erkannt wird.

Lokale Analyse

Bei der lokalen Analyse wird gescannter Inhalt im Browser des Nutzers statt durch eine serverseitige Dokumentprüfung untersucht. Normale Website-Anfragen können unabhängig davon weiterhin stattfinden.