Ce este prompt injection?

Prompt injection este o încercare sau un tipar dintr-un conținut care poate influența un sistem AI să urmeze instrucțiuni ce contrazic sarcina dorită de utilizator.

Sarcina dorită și conținutul neverificat

Un sistem AI poate primi atât sarcina cerută de utilizator, cât și conținut dintr-un document, mesaj sau altă sursă. Dacă acel conținut include text asemănător unor instrucțiuni, sistemul îl poate urma în loc să îl analizeze.

Un exemplu simplu

Un utilizator cere unui sistem AI să rezume un document. În document apare un text care îi cere să ignore rezumatul solicitat și să facă altă sarcină. Textul face parte din conținutul de analizat, dar poate totuși influența sistemul AI.

De ce ajută verificarea

Verificarea conținutului înainte de a-l trimite unui sistem AI poate scoate la iveală text asemănător unor instrucțiuni, conținut ascuns sau structuri neobișnuite care merită atenție. Un scanner preliminar poate sprijini această verificare, dar nu poate stabili intenția autorului și nu garantează detectarea tuturor tehnicilor.

O constatare nu este un verdict

O constatare înseamnă că scannerul a observat un indiciu care merită verificat. Nu dovedește că acel conținut este rău intenționat. Și documentele obișnuite pot conține tipare similare; contextul contează.

Învață

Glosar