LLMOps en Producción · Lección 10
¿Qué es un ataque de 'prompt injection' contra una aplicación LLM?
Un usuario malicioso incluye instrucciones dentro de su entrada que intentan hacer que el modelo ignore las instrucciones originales del sistema y siga en cambio las instrucciones inyectadas por el atacante
Un tipo de ataque que solo afecta a bases de datos SQL, sin relación con modelos LLM
Un método legítimo y recomendado de mejorar el rendimiento del modelo
Solo puede ocurrir si el modelo está corriendo en un servidor sin conexión a internet
LLMOps en Producción · Lección 10
Completa el código
Una mitigación común es separar claramente las instrucciones del sistema de la entrada del
Revisa: se recomienda separar claramente las instrucciones del sistema de la entrada del usuario.
LLMOps en Producción · Lección 10
¿Por qué una aplicación que resume documentos subidos por usuarios podría ser vulnerable a prompt injection si ese documento contiene texto malicioso diseñado para manipular al modelo?
Pista: si el contenido del documento se incorpora directamente al prompt sin ningún tratamiento especial, el modelo podría no distinguir entre el texto legítimo a resumir y una instrucción maliciosa incrustada deliberadamente dentro de ese mismo documento por un atacante.
✓
¡Lección completada!
Prompt injection — riesgos y mitigaciones
0
XP ganado
3
Vidas restantes