Glosario de IA
Red teaming (equipo rojo)
El red teaming es atacar a propósito tu propio sistema de IA para que se porte mal, filtre datos o use mal sus herramientas, y encontrar fallos antes que otros.
Un equipo rojo escribe entradas hostiles: inyección escondida en documentos, peticiones que rodean las reglas paso a paso, llamadas a herramientas fuera de sus límites.
Cada ataque que funciona se convierte en un caso de prueba, para que un cambio posterior que reabra el agujero se detecte.
El red teaming encuentra problemas; no demuestra que no haya ninguno. Combínalo con límites en código para acotar también los ataques en los que nadie pensó.
Apréndelo con práctica
Estas lecciones gratuitas lo enseñan con órdenes para ejecutar en un laboratorio y tareas corregidas. Se leen completas sin cuenta.