Seguridad en IA · Lección 26
¿Qué actividad realiza un equipo de 'red teaming' aplicado específicamente a un sistema de IA antes de su despliegue en producción?
Intenta activamente atacar y manipular el sistema (probando prompt injection, jailbreaks, y otras técnicas conocidas) desde la perspectiva de un adversario real, para descubrir vulnerabilidades explotables antes de que un atacante malicioso real las encuentre primero
El red teaming se limita exclusivamente a revisar el código fuente de la aplicación sin ejecutar ningún tipo de ataque o prueba activa real contra el sistema
Solo es relevante realizar red teaming si el sistema de IA tiene exactamente un único usuario en total consultándolo antes de producción
El red teaming garantiza con total certeza que el sistema quedará completamente libre de cualquier vulnerabilidad después de completarse el ejercicio
Seguridad en IA · Lección 26
Completa el código
El equipo actúa desde la perspectiva de un
Revisa: actúa desde la perspectiva de un adversario real intentando comprometer el sistema.
Seguridad en IA · Lección 26
¿Por qué descubrir una vulnerabilidad mediante red teaming interno antes del lanzamiento es preferible a que un atacante real la descubra primero después de que el sistema ya esté en producción?
Pista: si el equipo de red teaming interno descubre la vulnerabilidad antes del lanzamiento, hay una oportunidad real de corregirla sin que haya ocurrido ningún daño real todavía; si en cambio un atacante malicioso la descubre primero después de que el sistema ya está en producción, esa explotación ya habría causado algún tipo de daño real (financiero, de reputación, de datos) antes de que el equipo siquiera se enterara del problema.
✓
¡Lección completada!
Red teaming de sistemas de IA
0
XP ganado
3
Vidas restantes