PROMPT INJECTION CHECK · LEARN
Qu’est-ce qu’une injection de prompt ?
Une injection de prompt est une tentative ou un motif présent dans un contenu qui peut amener un système d’IA à suivre des instructions contraires à la tâche voulue par l’utilisateur.
Consigne de l’utilisateur et contenu non fiable
Un système d’IA peut recevoir à la fois la tâche demandée par l’utilisateur et le contenu d’un document, d’un message ou d’une autre source. Si ce contenu ressemble à une instruction, le système peut le suivre au lieu de simplement l’analyser.
Un exemple simple
Un utilisateur demande à un système d’IA de résumer un document. Le document contient lui-même un texte demandant à l’IA d’ignorer ce résumé et d’effectuer une autre tâche. Ce texte fait partie du contenu à analyser, mais peut malgré tout influencer le système.
Pourquoi examiner le contenu
Un examen avant la transmission à un système d’IA peut révéler un texte ressemblant à des instructions, du contenu caché ou une structure documentaire inhabituelle. Un scanner préalable peut aider, sans pouvoir établir l’intention de l’auteur ni garantir la détection de toutes les techniques.
Un résultat n’est pas un verdict
Un résultat signifie que le scanner a observé un signal à examiner. Il ne prouve pas que le contenu est malveillant. Un document anodin peut présenter des motifs similaires; le contexte compte.