Seguridad en IA · Lección 21
¿Qué riesgo de seguridad introduce descargar y usar directamente un modelo preentrenado publicado por un tercero desconocido, sin ninguna verificación adicional de su origen o integridad?
El modelo podría contener comportamiento malicioso deliberadamente incorporado (como una puerta trasera activada por ciertas entradas específicas), sin que el usuario que lo descarga tenga forma directa de saberlo con solo revisar los pesos numéricos del modelo
Es técnicamente imposible que un modelo preentrenado contenga cualquier tipo de comportamiento malicioso incorporado, independientemente de quién lo haya publicado originalmente
Solo es un riesgo real si el modelo descargado tiene exactamente un tamaño de archivo mayor a cierto límite específico de gigabytes
Cualquier modelo publicado en una plataforma pública de modelos es automáticamente seguro de usar sin ningún riesgo real que considerar
Seguridad en IA · Lección 21
Completa el código
El modelo podría contener una puerta trasera activada por entradas
Revisa: podría contener una puerta trasera activada por entradas específicas.
Seguridad en IA · Lección 21
¿Por qué es mucho más difícil auditar visualmente un modelo de IA en busca de comportamiento malicioso oculto, comparado con auditar el código fuente legible de una aplicación de software tradicional?
Pista: el código fuente de una aplicación tradicional puede leerse línea por línea para entender exactamente qué hace, mientras un modelo de IA consiste en millones de parámetros numéricos sin ninguna representación legible directa; un comportamiento malicioso podría estar codificado sutilmente dentro de esos pesos sin ningún patrón obvio visible, haciendo que auditar visualmente un modelo en busca de esa intención maliciosa sea mucho más difícil que revisar código fuente tradicional legible.
✓
¡Lección completada!
Seguridad de la cadena de suministro de modelos (model supply chain)
0
XP ganado
3
Vidas restantes