Glossaire de l’IA
Red teaming
Le red teaming consiste à attaquer volontairement son propre système d’IA pour le faire dévier, fuiter des données ou mal utiliser ses outils, avant que d’autres ne le fassent.
Une équipe rouge écrit des entrées hostiles : injection cachée dans des documents, demandes qui contournent les règles pas à pas, appels d’outils visant hors de leurs limites.
Chaque attaque qui réussit devient un cas de test, pour qu’un changement ultérieur qui rouvre la faille soit détecté.
Le red teaming trouve des problèmes ; il ne prouve pas leur absence. Associez-le à des limites dans le code pour borner aussi les attaques auxquelles personne n’a pensé.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.