Python para IA · Lección 26
¿Qué desafío particular presenta escribir pruebas automatizadas (tests) para código que invoca un modelo de IA generativo, comparado con probar una función determinista tradicional que siempre devuelve exactamente el mismo resultado para la misma entrada?
Un modelo generativo puede producir respuestas ligeramente distintas cada vez incluso con la misma entrada, así que las pruebas no pueden simplemente comparar una salida exacta esperada, requiriendo estrategias distintas como verificar propiedades generales de la respuesta o usar mocks que simulan el modelo de forma controlada
Es completamente imposible escribir cualquier tipo de prueba automatizada real para código que involucra un modelo de IA generativo bajo cualquier circunstancia
Solo es un desafío real si el modelo de IA tiene exactamente una única posible respuesta en total para cualquier entrada dada
Un modelo de IA generativo siempre devuelve exactamente la misma respuesta idéntica cada vez que se le da la misma entrada exacta, igual que una función determinista tradicional
Python para IA · Lección 26
Completa el código
Las pruebas pueden usar mocks que simulan el modelo de forma
Revisa: pueden usar mocks que simulan el modelo de forma controlada.
Python para IA · Lección 26
¿Por qué usar un mock (una versión simulada) del modelo de IA durante las pruebas automatizadas es más práctico que llamar al modelo real cada vez que se ejecuta el conjunto de pruebas del proyecto?
Pista: llamar al modelo real en cada ejecución del conjunto de pruebas generaría un costo económico real acumulado y dependería de tener conectividad externa disponible, además de que la respuesta variable del modelo dificultaría escribir pruebas predecibles; un mock controlado permite simular una respuesta específica y consistente para verificar que el resto del código maneje correctamente ese caso, aislando la lógica propia del proyecto de la variabilidad e incertidumbre del modelo real externo.
✓
¡Lección completada!
Testing de código que involucra modelos de IA
0
XP ganado
3
Vidas restantes