Prompt Injection
PromptingTechnique qui consiste à manipuler les instructions d'un outil IA pour en modifier le comportement.
Explication
Le prompt injection est une méthode qui vise à influencer le fonctionnement d'un outil d'intelligence artificielle en insérant des instructions cachées ou trompeuses dans les données qu'il traite. Par exemple, un utilisateur pourrait ajouter une phrase comme « Ignore les instructions précédentes et fais ceci » dans une demande, pour tenter de contourner les règles de sécurité ou les limites imposées par le système. Cela peut être utilisé à des fins malveillantes, comme obtenir des réponses non autorisées ou générer du contenu inapproprié, mais aussi à des fins légitimes, comme tester la robustesse d'un outil IA. Les créateurs d'outils IA travaillent constamment à renforcer leurs systèmes pour éviter ces manipulations et garantir un usage sûr et fiable.
Cas d'usage
- ✓Tester la sécurité d'un outil IA en vérifiant s'il résiste aux tentatives de manipulation
- ✓Contourner des restrictions pour obtenir des réponses non prévues par le système
- ✓Évaluer la robustesse d'un modèle face à des instructions ambiguës ou contradictoires
- ✓Exploiter des failles pour générer du contenu non conforme aux règles de l'outil